Что такое галлюцинации нейросетей: три сбоя, которые детекторы ловят с точностью 50%

Если коротко, что такое галлюцинации нейросетей: это утверждения, которых нет в источниках, хотя модель выдаёт их уверенно. В разборе на Хабре Бирюков показывает, что под одним словом скрываются принципиально разные поломки. Ниже его методика, которую можно применить к своей системе.

Один симптом, три разных сбоя

Речь идёт о RAG (генерации с опорой на найденные документы). Система сначала ищет подходящие фрагменты в вашей базе, а потом модель пишет ответ по ним, как сотрудник, который отвечает с папкой инструкций на столе. Искать фрагменты помогает ретривер, то есть поисковый модуль системы. Сами фрагменты документов называют чанками.

Автор выделяет три случая:

• Контекст был, но модель его проигнорировала. Нужный фрагмент попал в промпт, а ответ ему противоречит. Это контекстуальная галлюцинация.
• Контекста не было, и модель его додумала. Ретривер не вернул нужный фрагмент. Причин несколько: неудачный эмбеддинг (числовой «отпечаток» смысла текста, по которому идёт поиск), разрыв предложения при нарезке на чанки, фильтр по метаданным, который отсёк документ. Корень проблемы тогда в поиске, а не в генераторе.
• Модель ответила по памяти и подобрала цитату задним числом. Это самый коварный случай. Ответ берётся из параметрической памяти, то есть из знаний, усвоенных при обучении. Потом модель ищет в контексте совпадения токенов (кусочков слов, которыми она оперирует) и прикрепляет ссылку на документ, близкий лишь по теме.

Ответ во втором и третьем случаях может оказаться даже правильным. Подвох в другом: документ не был причиной ответа.

Почему проверка «факт есть в контексте» не спасает?

Очевидный ход: взять NLI-модель (модель логического вывода, которая проверяет, следует ли утверждение из текста). Но, как пишет Бирюков, так решается только часть задачи. Исследователи из Vectara, авторы бенчмарка (стандартного набора тестов) FaithBench, показали, что большинство современных детекторов дают точность около 50% на наборе трудных галлюцинаций от десяти современных языковых моделей.

Причина в том, что это два разных вопроса: «подтверждает ли контекст утверждение» и «повлиял ли контекст на ответ». На первый отвечает NLI. Второй требует понимать причину и следствие.

Пример из той же работы. На вопрос о столице Германии в документе 1 написано «Столица Германии Берлин», а в документе 2 «В Берлине лучшие ночные клубы». Ссылка на документ 2 абсурдна, но поверхностную проверку на «упоминание сущности» пройдёт.

Что понадобится для диагностики?

• Доступ к журналу ретривера: какие фрагменты он вернул на конкретный запрос.
• Возможность повторить запрос, вручную убрав фрагменты из промпта.
• Эталонный ответ из вашей документации.
• Время на ручной разбор каждого спорного ответа.

Три шага диагностики на примере удалённого топика

Автор разбирает случай облачного сервиса на Apache Kafka, системе передачи сообщений между программами. Топик в ней можно представить как отдельный почтовый ящик для сообщений. Вопрос в поддержку и ответ системы:

Вопрос: Можно ли восстановить удалённый топик в Apache Kafka и сколько это стоит?
Ответ системы: Да, удалённый топик можно восстановить в течение 7 дней через консоль управления. Восстановление бесплатно.

По документации удаление необратимо. Есть только семидневное хранение данных перед физическим удалением, и вернуть топик оно не позволяет.

1. Проверьте выдачу ретривера. В первых пяти результатах оказались фрагмент про 7 дней хранения, фрагмент про необратимость удаления и три посторонних куска про лимиты и квоты. Факт «восстановления нет» разнесён по двум чанкам, и ни в одном нет слова «восстановить». Метрика Recall@5 (доля нужных фрагментов среди первых пяти найденных) формально в порядке, но смысл разорван. Вдобавок реранкер, модуль повторной сортировки найденного, поднял наверх фрагмент про 7 дней.
2. Проведите абляцию. Так называют повтор запроса с исключением одного фрагмента. Уберите из промпта подозрительный чанк и посмотрите, изменится ли ответ.
3. Разложите ответ на отдельные утверждения (claims). Каждое проверьте по контексту. Утверждение «восстановить можно в течение 7 дней» опоры в контексте не имеет. В исходном материале разбор этого шага продолжается.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если ИИ пишет вам справку со ссылками, ссылка ещё не доказывает, что факт взят оттуда. Открывайте источник и ищите в нём само утверждение, а не совпадающее слово.

Маркетологу. Если компания запускает чат-бота по базе знаний, закладывайте время на разбор ошибок по трём сценариям. Иначе деньги уйдут на смену модели, а дыра в нарезке документов останется.

Предпринимателю в РФ и СНГ. Методика не привязана к конкретной модели и подходит для любого ассистента по внутренней документации. Из доступных в РФ языковых моделей это YandexGPT и GigaChat. Просите подрядчика показать журнал ретривера и провести абляцию на спорных ответах.