Лаборатория FusionBrain оценила надежность нейросетей через API: переобучать модель не нужно

Что произошло?

Глеб Кузьмин занимается методами оценки неопределённости для моделей машинного обучения. Он рассказал о работе своей команды «Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems». Название переводится как «Защитные механизмы оценки неопределённости для медицинских диагностических систем на основе больших языковых моделей».

Статью представили на отраслевой секции (Industry track) конференции EMNLP 2026. На воркшопе UncertaiNLP 2026 её отметили статусом Spotlight, то есть выбрали для отдельного показа.

Задача такая. Ассистент ведёт первичный сбор анамнеза: выслушивает жалобы, задаёт уточняющие вопросы, собирает историю симптомов. Затем модель GigaChat-2-Max предлагает до трёх возможных диагнозов. Полного обследования ассистент провести не может, поэтому окончательный диагноз на этом этапе может быть неизвестен.

Трудность в том, что к модели есть доступ только через API (программный интерфейс: вы отправляете запрос и получаете ответ, но не видите, что происходит внутри). Классические методы проверки часто смотрят во «внутренности» модели: логиты (сырые числовые оценки, из которых модель выбирает слово) и скрытые состояния. Здесь их нет.

Как проверить ответ, если модель закрыта?

Команда предложила guardrail, защитный модуль поверх основной системы. Он присваивает каждому диагнозу свой уровень уверенности и показывает его врачу. Основную модель переобучать не нужно, сам модуль оценки обучают отдельно.

Оценка идёт по каждой гипотезе, а не по ответу целиком. В одном ответе могут соседствовать обоснованный диагноз и предположение почти без предпосылок. Если усреднить их уверенность, врачу пришлось бы самому выяснять, к какой части относится предупреждение.

Всего в работе сравнили 16 методов оценки неопределённости. Основные группы такие:

• Повторные генерации. Модели несколько раз задают один вопрос и сравнивают ответы. Если диагнозы постоянно меняются, уверенность низкая. Работает через API, но требует лишних запросов, а одинаковые ответы не гарантируют правильность: модель может повторять ошибку.
• Только текст. Отдельный классификатор учится на примерах с известной оценкой качества и смотрит лишь на диалог и диагноз. В экспериментах подход назывался Text-Based UQ, он совместим с закрытой моделью.
• Внутренние признаки. Вероятности токенов (кусочков слов, которыми оперирует модель), скрытые состояния, механизм внимания. На этой идее основан метод UHead, который команда взяла за основу. Но внутренние признаки GigaChat-2-Max недоступны.

Отдельный подвох касается сравнения диагнозов по смыслу. «Острый панкреатит» и «обострение хронического панкреатита» звучат похоже, но это разные состояния. Бывает и наоборот: формулировки разные, а эксперт считает их одним и тем же. Обычная модель NLI (логический вывод на естественном языке, проверка, следует ли одна фраза из другой) такие тонкости может пропустить.

Почему это важно для рынка?

Большинство компаний работает с чужими языковыми моделями именно через API, без доступа к их устройству. Работа FusionBrain показывает на медицинском примере, что надежность нейросетей можно оценивать и в таких условиях, не переобучая основную модель.

Моя аналитическая ремарка: пример с панкреатитом касается не только медицины. В любой узкой области похожие по словам ответы могут означать разное, и универсальная проверка «по смыслу» здесь ошибается.

Хочу отдельно обозначить, что рассматривать уверенность как вероятность заболевания у пациента нельзя: для этого нужны другие методы, а также дополнительная калибровка оценок неопределённости. : Глеб Кузьмин, научный сотрудник лаборатории FusionBrain

Что это значит для вас?

Автору Дзена. Попросите нейросеть разбить ответ на отдельные утверждения и проверяйте каждое. Один верный факт не делает верным соседний. Особенно это касается текстов о здоровье: там ошибка бьёт по доверию к каналу.

Маркетологу. Повторная генерация из исследования доступна каждому: задайте один промпт два или три раза. Если ответы расходятся, это повод перепроверить, хотя совпадение ещё не доказывает правоту.

Предпринимателю в РФ и СНГ. В работе использовали GigaChat-2-Max, доступный в России. Если вы строите сервис на чужой модели через API, закладывайте отдельный слой проверки, а не надейтесь на саму модель.

Нейросети в медицине останутся помощником врача, а не заменой, и такие защитные модули сделают это разделение честным. Авторам стоит перенять тот же принцип уже в следующей публикации.