Поиск не спасает от галлюцинаций нейросетей: GPT-4o нередко выдумывает без данных

Это один из ответов на вопрос, что такое галлюцинации нейросетей в RAG, то есть в поиске с генерацией: система сначала находит документы, а потом пишет по ним ответ. Галлюцинация здесь означает уверенный ответ, который найденные документы не подтверждают.

Что измеряли?

Ключевое слово исследования: достаточность. Документ может быть релевантным, то есть близким к вопросу по теме, но не содержать самого ответа. Достаточность относится к паре «вопрос плюс найденный текст»: хватает ли в тексте сведений, чтобы построить ответ.

Пример из работы простой. Если в документе сказано, что мать Боба родилась в Нью-Йорке, из этого нельзя заключить, что там же родился сам Боб. Недостающую связь модель часто достраивает сама, и именно так рождается выдумка.

Большая языковая модель (LLM, программа, которая продолжает текст самым вероятным образом) обучена писать гладко. Гладкая фраза ещё не доказывает, что у ответа есть основания. Собственная оценка уверенности модели тоже может отражать её привычку к определённому ответу, а не качество найденных документов.

Авторы назвали контекст достаточным, если из него можно получить правдоподобный ответ подходящего типа: спрашивают место рождения, значит, ответом должно быть место. Эталонный ответ для такой проверки не нужен, поэтому её можно запускать прямо во время работы бота, когда правильный ответ заранее неизвестен.

Для проверки собрали оценщика на базе LLM: ему передают вопрос и текст и спрашивают, хватает ли сведений. Люди разметили 115 сложных пар из нескольких бенчмарков (стандартных наборов вопросов для сравнения моделей), не опираясь на эталонные ответы.

Что обнаружили?

• Оценщик на Gemini 1.5 Pro с одним примером в инструкции дал 93% точности на этих 115 парах.
• Крупные модели, среди них Gemini 1.5 Pro, GPT-4o и Claude 3.5, обычно хорошо отвечали при достаточном контексте, но при недостаточном нередко выбирали ответ вместо отказа.
• Более слабые модели из исследования, включая Mistral и Gemma, ошибались или отказывались даже тогда, когда нужные сведения в тексте были.
• При недостаточном контексте модели всё равно давали правильный ответ в доле случаев от 35 до 62% на основных бенчмарках. Причины авторы видят в знаниях из обучения, полезной частичной подсказке, удачном выборе между трактовками вопроса и ошибках самого оценщика.
• Более дешёвый оценщик FLAMe работал с фрагментами по 1600 токенов (токен, это кусочек слова, которыми модель считает текст). Пару признавали достаточной, если хватало хотя бы одного фрагмента, а значит, факты, разнесённые по разным кускам, могли потеряться.

Вывод авторов прямой: улучшать поиск полезно, но одного поиска мало, если модель не умеет пользоваться найденным. Две соседние работы копают глубже. Lavi и соавторы ищут сигнал «ответа нет» во внутренних вычислениях модели. Zhang и Wu проверяют, как модели меняют поведение при пяти типах свидетельств.

Что это значит для вас?

Из работы следует практичная мысль: у бота по документам должно быть больше двух исходов. Кроме ответа нужен отказ, вопрос-уточнение или повторный поиск. Обратная крайность тоже плоха: система, которая отказывается при любом сомнении, теряет правильные ответы, поэтому авторы рассматривают выборочную генерацию и меряют долю вопросов, на которые бот ответил.

Автору Дзена. Если пишете статью с помощью ИИ по загруженным материалам, проверяйте каждую связку фактов. Модель может склеить два верных факта в неверный вывод, как в примере с Бобом.

Маркетологу. Перед запуском бота поддержки соберите два набора вопросов. В первом ответ в базе знаний есть, во втором его специально нет. Бот должен отвечать на первые и честно отказываться на вторые.

Предпринимателю в РФ и СНГ. Из доступных в России моделей YandexGPT и GigaChat. Тот же двойной тест стоит прогнать и на них, а в промпт прописать прямую инструкцию: если в документах нет ответа, сообщить об этом и предложить уточнить вопрос.

По данным работы Sufficient Context (Joren и соавторы)