Меланома на ухе толщиной меньше 0,8 мм. GPT-6 Astra и Claude Fable 5.1 посмотрели на клинический снимок и на дерматоскопию и обе сказали одно и то же: себорейный кератоз, доброкачественная бородавка, пациента можно отпускать. Inception v3, свёрточная сеть, опубликованная Google в 2015 году и дообученная за двадцать минут, сказала: меланома. Она была права.

Тест провёл доктор Магнус Линч, консультант-дерматолог и хирург по Моосу в Guy's Hospital, почётный лектор King's College London. Результаты он выложил 25 октября 2026 года вместе с кейсами, промптами, ответами моделей и кодом подсчёта очков. Это редкий случай, когда сравнение фронтирных моделей с базовой специализированной сетью можно перепроверить самому.

Что именно сравнивали

Источник данных, MILK10k, вышел в 2025 году через International Skin Imaging Collaboration. Каждое новообразование в нём сфотографировано дважды: клинический снимок и дерматоскопия, то есть снимок через подсвеченную лупу, которой пользуется дерматолог. Линч взял случайные 200 новообразований, и у всех был гистологический диагноз, подтверждённый биопсией.

Сто из них нельзя отпускать без лечения: 30 меланом, 25 базальноклеточных карцином, 25 плоскоклеточных карцином вместе с болезнью Боуэна и 20 актинических кератозов. Другая сотня безопасна: 50 доброкачественных невусов и 50 себорейных кератозов. Важная деталь: биопсия была сделана всем, включая доброкачественные. Родинка, которую врач решил вырезать, это родинка, которая его насторожила, поэтому набор заведомо тяжелее среднего приёма.

Модели поставили одну и ту же задачу. Обеим дали два изображения и больше ничего, попросили назвать самый вероятный диагноз из шести вариантов или ответить «не уверен», указать уверенность, второй вариант и можно ли отпустить пациента без лечения, биопсии и наблюдения. Промпт одинаковый, настройки по умолчанию, каждая модель прогнала каждый случай один раз. Ни одна не отказалась отвечать.

Сеть для сравнения выбрана намеренно не лучшая. Inception v3 предобучили на обычных фотографиях, а потом дообучили все слои на 68 011 дерматоскопических и клинических снимках из архива ISIC. Обучение шло на одной H100 примерно двадцать минут. Все 200 тестовых новообразований и любые другие снимки того же пациента или новообразования удалили из данных до обучения, вместе с валидационной выборкой. Порог решения на тесте не подбирали. Сеть оценивала оба снимка и складывала их с большим весом дерматоскопии.

62% против 42%

Из 200 новообразований сеть правильно назвала первым выбором 125 (62%). GPT-6 Astra угадала 84 (42%), Claude Fable 5.1 угадал 85 (42%). Если разрешить второй вариант, счёт становится 173 против 134 и 138.

По меланомам, то есть по самому опасному классу, картина такая: 13 из 30 у сети, 8 у GPT-6 Astra и 11 у Claude Fable 5.1. По базальноклеточному раку GPT-6 Astra дала 25 из 25, сеть 24 из 25, Claude 18 из 25. По плоскоклеточному раку сеть взяла 16 из 25, GPT-6 Astra 12, Claude 5. Разрыв в основном создали доброкачественные образования: сеть узнала 37 из 50 невусов и 26 из 50 себорейных кератозов, тогда как GPT-6 Astra дала 16 и 13, а Claude 33 и 6. Единственный класс, где обе LLM обошли сеть, это актинический кератоз: 12 случаев у Claude, 10 у GPT-6 Astra, 9 у сети.

Показательна не только сумма, но и то, как каждая модель ошибается. У GPT-6 Astra есть любимый ответ: базальноклеточная карцинома. Она поставила этот диагноз 75 новообразованиям, хотя он верен для 25, и записала туда 14 из 30 меланом. Claude Fable 5.1 тянуло к актиническому кератозу: 53 ответа при 20 реальных случаях. Сеть ошибалась в другую сторону, и это отдельная деталь для понимания архитектуры: из 17 промахов по меланоме 8 она назвала невусом и 6 себорейным кератозом. Неверно, но в сторону «доброкачественное», а не в сторону «другой рак».

Такое распределение ошибок говорит о механизме. Фронтирная модель видит картинку и переводит её в текстовое описание, а дальше работает языковой приор: дерматоскопические признаки вроде пигментной сети, везикул или атипичных сосудов плохо ложатся в слова, зато классы с ярким учебниковым видом всплывают чаще. Специализированная сеть не описывает кожу словами, она сравнивает текстуры, и её ошибки ближе к тому, как путается человек, который смотрит на снимок, а не на статью о снимке.

Ловушка триажа

Сырая точность важна для статьи, но в клинике решают два других числа: сколько опасного отпустили и сколько безопасного отправили на биопсию. Здесь результаты выглядят иначе, и именно поэтому тест стоит читать целиком.

Из 100 опасных новообразований GPT-6 Astra оставила на контроле 97, Claude 96, сеть 77 при своём заводском пороге. Из 100 безопасных LLM отпустили 32 и 22, сеть 76. Меланом, которые модель сочла безопасными и отпустила, у GPT-6 Astra 3 из 30, у Claude 4 из 30, у сети 18 при заводском пороге, но 2 или 1, если порог подогнать под чувствительность LLM.

Вот в этом месте заголовок «сеть победила» перестаёт быть точным. При своём заводском пороге Inception v3 пропускает 18 меланом из 30, и это клинически неприемлемо. Настоящий вывод другой: чувствительность достигается легко, достаточно отправлять на биопсию почти всех. Специфичность и есть продукт. Когда порог сети сдвинули так, чтобы она теряла столько же меланом, сколько LLM, она всё равно отпускала домой 76 безопасных новообразований против 22 и 32. То есть при равной безопасности она снимает с очереди втрое больше людей.

Для скрининга это не косметическая разница. Каждая лишняя биопсия это очередь, деньги, шрам и тревога пациента. LLM в такой роли работают как очень осторожный врач, который режет всё, что вызывает сомнение. Осторожность правильная, экономика плохая.

Что происходит, когда спрашивает пациент

Линч проверил и второй сценарий, самый массовый. Тем же моделям дали только клинический снимок, без дерматоскопии, и задали вопрос так, как его задаёт человек: «мне нужно к врачу?». Обе LLM отвечали «да» почти всегда, включая доброкачественные образования: 99 и 98 случаев из сотни дополнительных биопсированных меланом.

Для чат-бота это правильное поведение. Ошибка в сторону «сходите к врачу» стоит человеку времени, ошибка в другую сторону стоит жизни. Но из этого не следует, что модель готова к триажу. Перестраховка на каждом случае превращает фильтр в генератор направлений, а дерматологов от этого больше не становится.

Почему маленькая сеть вообще может выиграть

Здесь нет чуда, есть постановка задачи. Inception v3 обучена на 68 тысячах снимков именно этого типа, дерматоскопии и клинических фото кожи, и решает одну задачу с шестью исходами. Никакого разговора, никаких отказов, никакой вежливой осторожности. Вес дерматоскопии задан заранее, потому что так устроен приём у дерматолога.

Есть и приятный инженерный побочный эффект. Сеть настолько мала, что работает прямо в браузере телефона через WebGPU: изображение никуда не загружается, все вычисления локальные. Линч выложил демо, кнопка случайного примера берёт те же 200 новообразований. Для медицины, где отправка фотографии кожи на чужой сервер это отдельный разговор про приватность, такая архитектура снимает половину вопросов.

Но и преувеличивать не стоит. Inception v3 это базовая модель, а не состояние искусства. Лучшие системы диагностики кожи строят на ансамблях визуальных трансформеров, обученных на куда больших данных, и регулируемые продукты на их основе работают заметно лучше. Тест Линча отвечает не на вопрос «какая модель лучшая в дерматологии», а на вопрос «заменяет ли универсальная модель специализированную». Ответ: нет.

Ограничения, которые автор назвал сам

Двести новообразований показывают закономерность, но не позволяют ранжировать близкие результаты, а 30 меланом дают широкий доверительный интервал по самому важному числу. Каждый случай прогонялся один раз, а ответы LLM меняются между запусками. Все новообразования биопсированы, то есть набор сложнее обычного архива: на обычных снимках та же сеть разделяла «отпускать» и «не отпускать» с площадью под ROC-кривой 0,96 против 0,86 на этом наборе.

Отдельно про загрязнение данных. MILK10k публичен с 2025 года, поэтому LLM теоретически могли видеть эти снимки в обучении. Если видели, это играло на них, а не против, и они всё равно проиграли. Сеть не видела точно: тестовые снимки удалили до обучения.

И честная сноска, которую редко пишут в таких отчётах: анализ и первые черновики Линч делал в Claude Code, а один из двух протестированных LLM принадлежит Anthropic. Это не отменяет цифры, но объясняет, зачем в отчёте лежат промпты, ответы и код подсчёта: проверить может любой.

Что с этим делать

Практический вывод для тех, кто строит продукты на моделях, звучит скучно и полезно. Универсальная модель хороша там, где задача описывается словами и допускает разброс. В задачах, где ответ проверяется гистологией, а вход это текстура на снимке, доменная модель на десятки тысяч примеров остаётся сильнее, даже если архитектуре десять лет. Стоимость такого решения тоже другая: двадцать минут на одной H100 против вызова фронтирной модели на каждый случай.

Второй вывод касается метрик. «Точность 42%» и «точность 62%» ничего не говорят о клинической пользе, пока рядом нет цены ошибок. LLM, который оставляет на контроле 97 из 100 опасных новообразований, безопасен и бесполезен как фильтр. Сеть, которая при том же уровне пропущенных меланом снимает с очереди 76 человек вместо 22, полезна, но требует калибровки порога под конкретную клинику и поток пациентов.

И третий, самый неприятный для индустрии: «просто подключим лучшую модель» перестаёт быть аргументом. В дерматологии уже есть публичный тест с открытыми ответами моделей, и он показывает разрыв в 20 процентных пунктов в пользу сети, обученной на коже. Следующий такой тест появится в другой специальности, и вопрос будет тот же: где заканчивается универсальность фронтирной модели.

Часто задаваемые вопросы

Означает ли это, что LLM бесполезны в медицине?

Нет. В этом тесте они показали высокую чувствительность в роли фильтра: оставляли на контроле 96 и 97 из 100 опасных случаев. Проблема в специфичности и в цене: они отпускают домой 22 и 32 безопасных пациента из ста против 76 у сети при сопоставимой чувствительности.

Почему сеть 2015 года обошла модели 2026-го?

Потому что она решает одну узкую задачу на данных того же типа. 68 011 снимков кожи, шесть классов, фиксированный вес дерматоскопии и никакого текстового посредника между пикселями и диагнозом. Универсальная модель переводит изображение в описание и опирается на языковой приор, а он тянет её к частым учебниковым классам.

Можно ли проверить результат самому?

Да. Линч выложил кейсы, промпты, ответы обеих LLM и скрипт подсчёта одним архивом, а сеть доступна как демо в браузере через WebGPU. Двести изображений взяты из публичного набора MILK10k под лицензией CC BY-NC, так что проверка не требует доступа к клиническим данным.

Итог

Дерматолог из Guy's Hospital показал то, что индустрия предпочитает не замечать: на 200 биопсированных новообразованиях десятилетняя свёрточная сеть, дообученная за двадцать минут, дала 62% верных первых диагнозов против 42% у GPT-6 Astra и Claude Fable 5.1. При выравнивании по чувствительности она снимает с очереди втрое больше безопасных случаев. Это не приговор языковым моделям, а напоминание, что диагностика рака кожи остаётся задачей про текстуры и пороги, а не про разговор.

Если у вас есть продукт, где модель смотрит на снимки, попробуйте посчитать не среднюю точность, а два числа: сколько опасного вы пропустили и сколько безопасного отправили на дополнительную проверку. Второе число обычно и съедает бюджет.