צ'אטבוטים וסרטן עור: GPT-6 ו-Claude מול מודל ייעודי ותיק

שתפו בוואטסאפ

ד"ר מגנוס לינץ', רופא עור ומנתח Mohs בבית החולים Guy's Hospital בלונדון, בדק שני צ'אטבוטים מובילים, GPT-6 Astra ו-Claude Fable 5.1, על 200 נגעי עור שאובחנו בביופסיה, עם תמונה קלינית ותמונת דרמוסקופיה לכל נגע. לפי הניתוח שפרסם, שניהם זיהו נכון רק כ-42% מהמקרים, ומודל זיהוי תמונה ותיק ופשוט יותר הגיע ל-62%. מדובר בניסוי של חוקר אחד, לא במחקר שעבר ביקורת עמיתים.

איך נבנה הניסוי?

לינץ', שמשמש גם כ-Honorary Reader ב-King's College London, לקח 200 נגעים ממאגר MILK10k של ארגון ISIC מ-2025. חצי מהם הם נגעים שאסור לשחרר את המטופל בלי טיפול או מעקב: 30 מלנומות, 25 קרצינומות של תאי בסיס (BCC), 25 קרצינומות של תאי קשקש (SCC, כולל מחלת Bowen) ו-20 קרטוזות אקטיניות. החצי השני הם נגעים שפירים שבדרך כלל אפשר לשחרר: 50 שומות ו-50 קרטוזות סבוריאיות.

מולם הוא העמיד רשת Inception v3, ארכיטקטורה של Google מ-2015, שעברה אימון מקדים על תמונות כלליות, ולינץ' כוונן אותה כ-20 דקות על 68,011 תמונות מארכיון ISIC, על כרטיס H100 אחד. על המודלים החדשים כמו GPT-6 Astra אפשר לקרוא בסיכום החדשות שלנו על GPT-6, Claude ו-Gemini 4.

מה יצא בתוצאות?

מדד	GPT-6 Astra	Claude Fable 5.1	CNN
אבחנה ראשונה נכונה (מתוך 200)	84	85	125
אבחנה נכונה בין שתי האפשרויות הראשונות	134	138	173
מלנומה זוהתה כאבחנה ראשונה (מתוך 30)	8	11	13
נגעים מסוכנים שהומלץ לא לשחרר (מתוך 100)	97	96	77 (בסף המובנה)
נגעים שפירים ששוחררו (מתוך 100)	32	22	76
מלנומות ששוחררו (מתוך 30)	3	4	18 (בסף המובנה)

הטבלה מראה למה התמונה מורכבת. בסף המובנה שלו, מודל ה-CNN שחרר 18 מתוך 30 מלנומות, הרבה יותר משני הצ'אטבוטים. לפי לינץ', כשמכוונים את הסף שלו כך שישמור כמעט את כל הנגעים המסוכנים, כמו הצ'אטבוטים, הוא משחרר רק מלנומה אחת או שתיים. לינץ' לא מפרט כמה נגעים שפירים הוא משחרר בסף הזה. כלומר, הצ'אטבוטים זהירים, אבל במחיר של הפניית הרבה אנשים בריאים לבדיקה.

לכל צ'אטבוט הייתה גם "אבחנה אהובה". לפי לינץ', GPT-6 Astra קבע BCC אצל 75 נגעים, כשרק 25 באמת היו כאלה, וכך סיווג 14 מתוך 30 המלנומות. Claude Fable 5.1 קבע קרטוזה אקטינית אצל 53 נגעים, כשרק 20 היו כאלה.

דוגמה אחת מהניתוח: מלנומה באוזן, בעובי של פחות מ-0.8 מ"מ. שני הצ'אטבוטים זיהו אותה כקרטוזה סבוריאית שאפשר לשחרר, ומודל ה-CNN זיהה אותה נכון. כתבה זו אינה ייעוץ רפואי. נגע עור חדש, משתנה או מדאיג צריך להיבדק אצל רופא.

האם אפשר להסיק מזה ש-AI גרוע באבחון סרטן עור?

לא, ולינץ' עצמו מונה את המגבלות:

מספרים קטנים. יש רק 30 מלנומות, כך שאי הוודאות רחבה, וכל מקרה הורץ בצ'אטבוטים פעם אחת בלבד.
מקרים קשים. על תמונות רגילות מהארכיון, ה-AUC של ה-CNN הוא 0.96, לעומת 0.86 בסט הזה.
זיהום נתונים אפשרי. ייתכן שמאגר MILK10k נכלל בנתוני האימון של הצ'אטבוטים.
ה-CNN אינו הטוב ביותר. לדבריו, מוצרים מוסדרים שנמצאים בשימוש קליני מציגים ביצועים טובים בהרבה.

יש גם נתון שעובד לטובת הצ'אטבוטים. כשלינץ' פנה אליהם בתור מטופל, עם תמונה קלינית בלבד, הם המליצו לפנות לרופא כמעט בכל מקרה, גם בנגעים שפירים: ב-99 וב-98 מתוך 100 מלנומות נוספות. זה מגן מפני החמצה, אבל לא מעיד על יכולת אבחון. הוא גם מציין בגלוי שנעזר ב-Claude Code בניתוח ובטיוטות הראשונות.

מה אומרים המגיבים ב-Hacker News?

הפוסט עלה לדיון ב-Hacker News, ובזמן הבדיקה צבר 666 נקודות ו-272 תגובות. המשתמש vikramkr טען שההשוואה לא הוגנת, כי ה-CNN אומן על אותה התפלגות נתונים והצ'אטבוטים לא קיבלו כלים. המשתמש speerer העיר שהצ'אטבוטים דווקא טובים יותר בהימנעות מהחמצות. המשתמש sungam, שנראה שהוא כותב הפוסט, השיב שמערכות מודרניות לאבחון עור מבוססות על צירופים של vision transformers שנבדקו בניסויים קליניים, ושלא יהיה חכם לתת גישה למודלים בלי פיקוח אנושי, כי כולם עלולים לפספס סרטן עור.

המסקנה הזהירה היא שצ'אטבוט כללי אינו כלי אבחון, גם אם הוא מצוין בכתיבה ובקוד. מי שרוצה להכיר את משפחת המודלים של Anthropic ומה כל אחד מהם נועד לעשות יכול לקרוא את המדריך שלנו ל-Claude. ומה שלא משתנה: נגע עור שמדאיג אתכם צריך להגיע לרופא, לא לחלון צ'אט.