Игорь Градов
Игорь Градов
5 мин
ai

Swin Transformer распознал патологии лёгких на КТ точнее EfficientNet: 0,924 против 0,832

Исследовательница сравнила четыре нейросети для компьютерной томографии лёгких в одинаковых условиях, чего обычно нет в научных статьях: Swin-Tiny классифицировал снимки точнее EfficientNet-B0, а сети разметки узлов на малой выборке не обобщились.

Swin Transformer распознал патологии лёгких на КТ точнее EfficientNet: 0,924 против 0,832

Для таких задач применяют свёрточные сети и трансформеры. Авторы обычно обучают их на разных данных с разной предобработкой, поэтому цифры из разных работ напрямую сравнивать нельзя. Автор эксперимента сравнила пары моделей на общих данных и прямо пишет, что в сегментации честного сравнения не получилось.

Показатель Значение Источник
Accuracy Swin-Tiny 0,924 (один запуск) Оригинальное исследование
Accuracy EfficientNet-B0 0,832 (один запуск) Оригинальное исследование
Разница по macro-F1 0,095 Оригинальное исследование
Время обучения 85,6 мин против 44,4 мин Оригинальное исследование
Число параметров 27,5 млн против 4,0 млн Оригинальное исследование
Dice сегментации на тесте от 0,01 до 0,02 Оригинальное исследование
Узлы в обучении и тесте 113 у 33 пациентов, 27 в тесте Оригинальное исследование
Различие сетей сегментации p = 0,53, незначимо Оригинальное исследование

Что измеряли?

КТ, или компьютерная томография, снимает грудную клетку сотнями тонких срезов. Радиологу приходится просматривать их все, и небольшой узел легко пропустить. Рак лёгкого на ранних стадиях проявляется слабо, поэтому любая автоматическая подсказка здесь полезна.

Сегментация и классификация патологий лёгких на КТ делятся на две задачи:

  • Сегментация. Нейросеть обводит очаг на снимке и отмечает воксели (трёхмерные пиксели), которые ему принадлежат.
  • Классификация. Сеть смотрит на отдельный срез и определяет тип патологии.

Для сегментации взяли LIDC-IDRI, набор КТ грудной клетки, где узлы разметили четыре рентгенолога. Весь набор занимает около 124 ГБ, а на бесплатном Kaggle (платформа с наборами данных и вычислительными сессиями) диск и время ограничены. Поэтому автор собрала подвыборку из 148 пациентов, узлы есть у 48 из них.

Пациентов разделили так: 103 на обучение, 22 на проверку, 23 на тест. Срезы одного человека не попадали одновременно в обучение и тест, иначе сеть «видела бы ответы» заранее.

Для классификации взяли набор Chest CT-Scan Images с Kaggle. В нём четыре класса: аденокарцинома, крупноклеточная карцинома, плоскоклеточная карцинома и норма. В наборе 1226 изображений для обучения, 148 для проверки и 630 для теста, все приведены к размеру 224 на 224 пикселя.

В соревновании участвовали четыре сети:

  • nnU-Net v2. Сама подбирает предобработку и параметры обучения.
  • 3D UNet 3+. Автор реализовала её самостоятельно.
  • EfficientNet-B0 и Swin-Tiny. Классификаторы, обе предобучены на ImageNet, большой базе обычных фотографий, где сети заранее учатся различать формы. Swin относится к трансформерам.

Качество оценивали несколькими метриками. Dice показывает, насколько разметка сети совпадает с эталоном, по шкале от 0 до 1. Accuracy означает долю верных ответов, а macro-F1 даёт среднюю оценку по всем классам, где редкий класс весит столько же, сколько частый.

Что обнаружили?

  • Swin-Tiny точнее. Accuracy составила 0,924 против 0,832, по macro-F1 разница 0,095. Гипотеза автора подтвердилась, но это один запуск.
  • Точность стоит ресурсов. Swin-Tiny обучался 85,6 минуты против 44,4 у EfficientNet-B0, то есть почти вдвое дольше. Параметров у него 27,5 млн против 4 млн.
  • Аденокарцинома даётся труднее всего. Её путали с плоскоклеточной в 17% случаев у EfficientNet и в 15% у Swin.
  • Крупноклеточную карциному Swin нашёл без пропусков. Его полнота (доля найденных случаев из всех реальных) равна 1,00, у EfficientNet 0,73.
  • Сегментация не обобщилась. Dice на тесте от 0,01 до 0,02, различие между сетями незначимо: p = 0,53 по критерию Вилкоксона (статистической проверке, не случайна ли разница). На обучении Dice рос, а на проверке падал почти до нуля, то есть сеть запоминала обучающие узлы.
  • Ранние цифры отбросили. На проверке nnU-Net достигал Dice 0,4825, UNet 3+ 0,3241. Автор не стала на них опираться: подвыборки менялись между запусками, а nnU-Net учился 30 эпох вместо стандартных 1000.

Ошибки сидели в данных ещё до обучения

Самая практичная часть работы относится не к архитектурам, а к проверке данных. Автор нашла три ошибки, которые напрямую ломали обучение.

  • Двойная нормировка. Снимки уже хранились в диапазоне от 0 до 1, а к ним повторно применили окно яркости. Изображение стало почти однотонным, около 0,714, и сети нечему было учиться.
  • Мало примеров с узлом. При случайной нарезке узел попадал лишь в 8–10% фрагментов. Центрирование фрагмента на узле подняло долю до половины.
  • Обманчивая метрика на пустых фрагментах. С параметром сглаживания 1 сеть «хорошо выглядела», просто предсказывая ноль. При значении 1e-5 поведение нормализовалось.

Помог и простой тест: заставить сеть выучить всего два фрагмента. С одними настройками обучения Dice остался 0,000, с другими дошёл до 0,852 за 200 шагов.

Как это читать

Классификацию проверили одним запуском, а сегментацию на 113 обучающих и 27 тестовых узлах при одном разбиении. Узлы мелкие, медианный диаметр около 6 вокселей.

Объяснение превосходства Swin устройством его внимания автор сама называет предположением. Без абляций (опытов с отключением частей модели) и повторных запусков это не доказано.

Что это значит для вас?

Автору Дзена. Разбор неудачи, где автор показывает собственные ошибки, вызывает больше доверия, чем отчёт об успехе. Если пишете про ИИ в медицине, переносите оговорки вместе с цифрами: «один запуск» и «113 узлов» важны так же, как 0,924.

Маркетологу. Более точная модель здесь обучалась почти вдвое дольше и весила почти в семь раз больше. Выбирая нейросеть для своих задач, сравнивайте не только качество ответа, но и цену времени и железа.

Предпринимателю. Если заказываете ИИ-продукт, спросите подрядчика, как проверяли данные до обучения. Тест «выучить два примера» дешёвый и быстро показывает, способна ли сеть вообще учиться. Чтобы разобраться в терминах из таких отчётов, подойдут доступные в РФ YandexGPT и GigaChat.

Мнение редакции dzen.guru

На мой взгляд, ценность этой работы в честности, а не в рекордах. Автор могла показать Dice 0,48 и закрыть тему, но разобрала, почему эта цифра ненадёжна. Мы в dzen.guru советуем так же проверять любые громкие цифры про ИИ, прежде чем нести их читателю. И главное: ни одна из этих сетей не заменяет врача, снимки читает рентгенолог.

Прежде чем менять модель, проверьте данные: в этом эксперименте все три поломки нашлись ещё до первой эпохи обучения.

По данным оригинального исследования автора эксперимента.

Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения
ai

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения

Авторы метода SGNE-CC v2 перенесли правку весов с Qwen3.5-0.8B на DeepSeek-R1-Distill-Qwen-1.5B, которую многие запускают локально на слабом железе, и…

5 мин
ai

ИИ сдал экзамен химика по поиску лекарств на 84,5%: прогнозы свойств пока даются хуже

Создатели теста MedChemBench проверили модели GPT на задачах химика, который ищет новое лекарство, и лучшая из них, GPT-6.2 Astra, набрала 84,5% возможных…

4 мин
Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей
ai

Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей

Предприниматель Артём Исламов, основатель Glo Academy, рассказал в интервью каналу «Shulepov Code» о Google-таблице с выручкой больше миллиона рублей, код…

4 мин