Языковые модели нейросети хранят до 98% фактов, но теряют треть: список причин назвал Google

Исследователи Google задались вопросом: почему языковые модели нейросети, обученные на огромных массивах текстов, не могут воспроизвести часть того, что уже «знают»? Раньше считалось, что моделям просто не хватает обучающих данных (training data, тексты и документы, на которых модель училась). Новая работа под названием «Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality» показывает, что дело не в пустых полках, а в потерянных ключах. Результаты опубликованы Google и подробно разобраны в материале Search Engine Journal.

Что именно измеряли?

Исследователи проверяли параметрическую информацию (parametric information), то есть всё, что языковая модель усвоила из обучающих данных: веб-страницы, книги, тексты песен, код, инструкции. Вопрос ставился так: если факт точно есть внутри модели, почему она иногда не может его выдать?

Для проверки использовали пары «субъект и объект». Проще говоря, в любом факте есть два участника: тот, кто упоминается первым в исходном тексте (субъект), и тот, кто идёт следом (объект). Пример из статьи: «Oasis played their first gig at the Boardwalk club». Здесь Oasis стоит первым и является субъектом, а клуб Boardwalk идёт вторым и является объектом.

Модели задавали два типа вопросов:

• Прямой: ответом служит объект («Где Oasis сыграли первый концерт?»)
• Обратный: ответом служит субъект («Какая группа впервые выступила в клубе Boardwalk?»)

Затем сравнивали, как порядок влияет на точность ответа.

Три факта, которые меняют работу с промптами

• Порядок решает. Когда вопрос переворачивал привычный порядок субъекта и объекта, модель заметно хуже вспоминала факт. При этом тот же факт она уверенно узнавала в формате теста с вариантами ответов, что доказывает: информация внутри есть, но «ключ» к ней не подходит.
• Перефразирование почти не помогает. Исследователи проверили, влияет ли переформулировка вопроса на качество ответа. Результат: незначительно. Критичен именно порядок сущностей, а не стиль или выбор слов.
• Редкие факты страдают сильнее. Разница между кодированием популярных и редких фактов была небольшой, но при извлечении (recall) разрыв увеличивался. Модель «знает» редкий факт, но вытащить его из памяти гораздо сложнее. Характерный пример для авторов, работающих с нишевыми темами: языковые модели нейросети список редких фактов хранят, но отдают неохотно.

Режим «размышления» помогает, но дорого обходится

Исследователи проверили, способен ли так называемый thinking mode (режим, в котором модель «рассуждает» перед ответом, тратя больше вычислительных ресурсов) исправить ситуацию. Результат: от 40 до 65% ранее недоступных фактов удалось извлечь.

Но у решения два ограничения. Во-первых, инференс (inference, процесс генерации ответа моделью) с «размышлением» стоит заметно дороже. Во-вторых, модель сама не знает, когда ей нужно включить этот режим, а когда хватит быстрого ответа.

Ещё один вывод: простое увеличение масштаба обучения не решает проблему извлечения. Модели уже и так закодировали почти всё, наращивать объём бессмысленно, если «ключи» к полкам теряются.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Когда вы составляете промпт (prompt, текстовый запрос к нейросети), ставьте ключевую сущность в том порядке, в каком она чаще всего встречается в текстах. Если спрашиваете про факт, начинайте с того участника, который обычно упоминается первым. «Кто основал компанию X» сработает лучше, чем «Компанию X основал кто?», если в обучающих данных имя основателя всегда шло перед названием компании.

Маркетологам. Если вы оптимизируете контент для ИИ-поиска, порядок сущностей на странице может влиять на то, «вспомнит» ли модель ваш бренд. Размещайте название компании и ключевой продукт в начале абзаца, как субъект, а не прячьте в конец предложения.

Предпринимателям в РФ. Эффект порядка актуален для любых моделей, включая доступные в России YandexGPT и GigaChat. Проверяйте свои промпты: если модель «не знает» факт, попробуйте переставить сущности, прежде чем менять формулировку целиком.

Факт «модель знает, но не может вспомнить» перестал быть интуицией и стал измеримой величиной: более 70% ошибок GPT-5.2 вызваны именно сбоем извлечения, а не отсутствием знания. Для каждого, кто ежедневно работает с нейросетями, это означает одно: прежде чем обвинять модель в некомпетентности, переставьте слова в запросе.

По данным Search Engine Journal