Дерматолог проверил GPT-6 Astra и Claude на 200 кожных образованиях: CNN 2015 года оказалась точнее

Исследование провёл практикующий дерматолог. Он сравнил GPT-6 Astra и Claude Fable 5.1 с дообученной версией Inception v3, архитектуры свёрточной нейросети (CNN, от английского convolutional neural network, сеть, которая «сканирует» изображение фрагмент за фрагментом, как врач разглядывает снимок через лупу). Набор данных, промпт (текстовый запрос к модели) и шесть вариантов диагноза были одинаковыми для всех трёх моделей. Результат опубликован автором в открытом доступе вместе с интерактивной демоверсией CNN, работающей прямо в браузере телефона.

Что именно сравнивали?

Автор взял 200 случайных образований из MILK10k, открытого набора данных, выпущенного International Skin Imaging Collaboration в 2025 году. Каждое образование снято дважды: обычная клиническая фотография и дерматоскопический снимок (через специальную подсвеченную линзу, которой дерматологи рассматривают кожу с увеличением).

Половина образований требовала вмешательства: 30 меланом, 25 базальноклеточных карцином, 25 плоскоклеточных карцином и 20 актинических кератозов (предраковых изменений кожи). Вторая половина была безобидной: 50 невусов (обычных родинок) и 50 себорейных кератозов (доброкачественных бородавчатых наростов).

Важная деталь: биопсию делали каждому образованию, даже доброкачественным. Это значит, что даже «безобидные» случаи чем-то насторожили врача и были сложнее среднестатистических.

Языковые модели получали оба снимка, стандартный промпт и шесть вариантов диагноза. CNN (дообученная Inception v3, предобученная на обычных фотографиях) тоже оценивала оба снимка, отдавая основной вес дерматоскопическому. Тестовые образования и все снимки тех же пациентов были убраны из обучающих данных CNN до начала тренировки: модель их гарантированно не видела.

Что обнаружили?

• CNN поставила верный первый диагноз в 62% случаев (125 из 200), обе LLM в 42% (84 и 85 из 200). Разрыв в 20 процентных пунктов устойчив по большинству категорий.

• Меланому CNN узнала в 13 из 30 случаев, GPT-6 Astra в 8, Claude Fable 5.1 в 11. Один из промахов особенно показателен: инвазивную меланому на ухе обе LLM назвали себорейным кератозом и рекомендовали отпустить пациента. CNN ответила верно.

• На безобидных образованиях разрыв ещё больше. CNN распознала 37 из 50 родинок и 26 из 50 себорейных кератозов. GPT-6 Astra угадала 16 и 13 соответственно.

• LLM демонстрировали характерные «перекосы». GPT-6 Astra назвала базальноклеточной карциномой 75 образований при реальных 25, включая 14 из 30 меланом. Claude Fable 5.1 «увидела» актинический кератоз в 53 случаях при 20 настоящих.

• CNN ошибалась иначе. Из 17 неверных ответов на меланомах в 8 случаях она назвала образование невусом и в 6 случаях себорейным кератозом. Ошибка в другую сторону: модель занижала опасность вместо того, чтобы её завышать.

• С учётом второго варианта CNN набрала 173 из 200, LLM 134 и 138. CNN единственная уступила LLM по двум категориям: на базальноклеточной карциноме отстала от GPT-6 Astra на одно образование, на актиническом кератозе уступила обеим.

Что это меняет для вас?

Авторам Дзена и экспертам в нише здоровья. Исследование даёт конкретный аргумент против популярного нарратива «GPT заменит врачей». Если вы пишете о медицинских нейросетях, теперь есть публичные цифры: универсальная LLM (большая языковая модель, «умный чат-бот» общего назначения) уступает узкой специализированной сети, которую дообучили за двадцать минут. Это честный материал для разбора, а не очередной хайп.

Маркетологам и предпринимателям. Вывод выходит за пределы медицины: под конкретную задачу дообученная (fine-tuning, обучение модели на ваших примерах под узкую задачу) небольшая модель может работать точнее универсального гиганта. Если вы строите продукт на базе ИИ для классификации изображений, это аргумент в пользу собственной дообученной модели вместо подключения дорогого API.

Практикам в РФ и СНГ. GPT-6 Astra и Claude Fable 5.1 пока не имеют прямых аналогов среди российских моделей общего назначения. Но сам принцип работает и локально: YandexGPT или GigaChat не заточены под дерматологию, а открытую CNN можно дообучить на своих данных. Автор исследования выложил демоверсию, работающую в браузере телефона через WebGPU (технология, позволяющая запускать нейросеть прямо в браузере без сервера), снимки при этом не покидают устройство.

Два конкурирующих подхода, универсальность против специализации, будут сосуществовать ещё долго. И пока LLM не научатся «видеть» изображения так же точно, как их анализируют свёрточные сети, в задачах визуальной диагностики стоит проверять модную модель рядом со старой проверенной, а не вместо неё.

По данным исследования дерматолога, опубликованного в открытом доступе