ИИ в медицине на Kaggle: одна лёгкая модель обогнала ансамбль и работала в 15 раз быстрее

Kaggle, это площадка соревнований по машинному обучению: команды решают одну задачу и соревнуются в общей таблице результатов, её называют лидербордом. Оригинальный райтап (подробный отчёт команды о решении) вышел на английском под названием 19 th Place Solution. Автор перевода выпустил русскую версию и ведёт Telegram-канал «Pseudolabeling» с разборами и заметками, которые не попадают в большие статьи.

Тема ИИ в медицине обычно приходит к читателю через громкие заголовки. Этот разбор показывает рабочую сторону: лимиты времени, ошибки подгонки, споры о том, каким цифрам верить.

В чём суть решения, занявшего 19-е место?

Задача соревнования, судя по названию, поиск отклонений на снимках колена, всего 12 типов находок. У команды был ранний ансамбль, то есть набор моделей, ответы которых усредняются: ConvNeXt, CoAtNet и ResNet-GRU, каждая в пяти вариантах. Инференс (запуск готовой модели на новых данных) занимал около 7 часов из разрешённых 9.

В оставшиеся два часа не помещалась вторая сильная ветка решения, на основе MedSAM. Поэтому участник команды Yuto решил применить дистилляцию: обучить маленькую модель-ученика повторять ответы большого ансамбля-учителя. Устройство ученика:

• архитектура ConvNeXt-Tiny, предобученная на наборе ImageNet-22k, со специальным блоком внимания к срезам снимка;
• вход: поле зрения 140 мм, приведённое к 384 пикселям;
• 8 окон на серию снимков при обучении, 16 при инференсе;
• одно обучение на всех исследованиях, кроме 58 отложенных в «золотой» проверочный набор (Gold);
• 32 эпохи, то есть 32 полных прохода по данным.

Таргеты (правильные ответы, на которых учится модель) собрали в пропорции 50 на 50. Первая половина, вероятности, которые большая языковая модель извлекла из текстов радиологических заключений. Вторая, предсказания учителя, причём каждое исследование оценивали только модели, не видевшие его при обучении, чтобы ответы не подсмотрели заранее.

Вторую ветку собрал участник shin0000. Замороженная модель MedSAM (её не дообучали) находила на среднем срезе контур кости, а от его верхней границы вырезались фрагменты снимка 288 на 288 пикселей, примерно 80 мм. Одна общая модель и пять узких специалистов по конкретным находкам набрали 0.964 на публичном лидерборде и 0.953 на закрытом.

Аргументы за: одна модель вместо целого семейства

Сторонникам дистилляции разбор даёт сильные доводы:

• одиночный ученик обошёл учителя на обоих лидербордах;
• он тратил примерно одну пятнадцатую времени инференса;
• усреднение 6 или 12 учеников дало практически те же 0.962 и 0.952, так что одной модели хватило;
• сэкономленное время позволило собрать финальный бленд, то есть смесь ответов трёх разных моделей, в пределах лимита.

Отдельная аналитическая деталь: ученика учили не на голых ответах «да или нет», а на вероятностях. Такие мягкие таргеты передают, насколько учитель сомневался, и это объясняет, почему копия может обогнать оригинал.

Аргументы против: где компактность не решает всё

Финальное решение всё равно осталось ансамблем из трёх моделей. Ветка MedSAM в одиночку показала 0.964 и 0.953, немного выше учеников, то есть одна дистиллированная модель не закрыла задачу целиком.

Ученик наполовину учится на метках, извлечённых языковой моделью из текстов заключений. Его потолок упирается в качество этой разметки.

Самый неудобный вывод касается подбора весов бленда. Команда сравнила фиксированные веса, веса, подогнанные под Gold по каждой находке, и компромиссный вариант с притяжением к равным весам. Разные фиксированные веса сдвигали закрытый лидерборд не больше чем на 0.001.

Чем точнее веса подгоняли под Gold, тем выше был результат на нём и тем ниже на публичном лидерборде. Компромисс убрал переобучение (когда модель запоминает частности проверочной выборки вместо общего правила), но фиксированные веса не превзошёл. В итоге команда выбирала финал по публичному лидерборду.

Авторы признают ограничение прямо: при 58 исследованиях Gold-набор не мог надёжно различить стратегии. И это результаты соревнования, а не клинические испытания.

Я хотел сжать знания этого ансамбля в одну лёгкую модель. : Yuto, участник команды

Что делать с этим прямо сейчас, по ролям?

ML-инженеру, который собирает пайплайны (цепочки обработки данных и моделей): попробуйте мягкие таргеты от учителя вместе с метками из текстов, а на маленькой проверочной выборке не подбирайте веса по каждому классу.

Автору Дзена: пишете про ИИ в медицине, различайте цифры соревнования и клинические результаты. Разбор вроде этого даёт фактуру без сенсаций.

Маркетологу: аргумент «у нас ансамбль из десяти моделей» слабее, чем кажется. Здесь одна модель дала тот же результат в 15 раз быстрее.

Предпринимателю: русский перевод и канал «Pseudolabeling» снимают языковой барьер для команды, которая учится на чужих решениях.

Я жду, что дистилляция станет стандартным шагом в медицинских соревнованиях с жёстким лимитом времени, потому что сэкономленные часы превращаются в место для второй сильной модели. А маленькие «золотые» наборы перестанут считать арбитром: команды, которые продолжат им доверять, будут проигрывать на закрытом лидерборде.