Что такое галлюцинации нейросетей: ошибка чат-бота едва не привела к войне США и Китая

США едва не высадили досмотровую группу на китайское судно, опираясь на разведывательный отчёт, который оказался «полностью ложным» из-за ошибки чат-бота, встроенного в аналитический процесс военной разведки, и один из источников CNN прямо заявил: «это чуть не начало войну».

Что произошло?

Аналитик Командования специальных операций США использовал чат-бот для анализа данных о грузе китайского судна, проходившего через Ближний Восток. По данным CNN, со ссылкой на четырёх осведомлённых источников:

• Чат-бот «слил воедино» разведку из открытых источников и секретные данные радиоэлектронной разведки из правительственных хранилищ.
• На выходе бот ошибочно определил груз судна как компоненты программы ядерного вооружения.
• Эта ложная информация была оформлена в полноценный разведывательный отчёт.
• Военные США готовили перехват и досмотр судна с авиационной поддержкой, прежде чем ошибку обнаружили.

Источник CNN назвал произошедшее «фиаско на основе ИИ», которое «чуть не начало войну».

Что такое галлюцинации нейросетей и почему их нельзя «выключить»?

Галлюцинация нейросети происходит, когда большая языковая модель (LLM, программа, генерирующая текст) уверенно выдаёт информацию, которой нет в реальности. Модель не «врёт намеренно»: она подбирает статистически вероятное продолжение текста, и если в обучающих данных (training data, массив текстов, на которых модель училась) недостаточно контекста, она достраивает ответ из ничего.

Слово «галлюцинация» стало словом года по версии словаря Cambridge Dictionary в 2023 году. CNN перечисляет примеры пострадавших: авторы нон-фикшн, журналисты, учёные, судьи, врачи, полицейские управления, корпоративные колл-центры.

Попытки решить проблему промптами (промпт, текстовая инструкция для нейросети) вроде «не галлюцинируй» CNN называет «трогательными», ссылаясь на исследователей, которые считают, что полностью предотвратить галлюцинации у LLM, возможно, нельзя в принципе.

На каком фоне это случилось?

Министерство обороны США в январе 2025 года запустило «стратегию ускорения внедрения ИИ». Документ предписывает «сделать все подходящие данные доступными в федеративных ИТ-системах для использования ИИ, включая боевые системы всех родов войск и подразделений».

То есть инцидент произошёл не вопреки политике Пентагона, а на фоне её активного расширения. Военные наращивают использование ИИ в разведке именно тогда, когда технология доказала свою ненадёжность на самом высоком уровне.

Как проверять ответы нейросети прямо сейчас?

1. Никогда не принимайте ответ ИИ как факт без перекрёстной проверки. Особенно если речь о данных, именах, датах, цифрах. Откройте первоисточник и сверьте.
2. Задавайте уточняющие вопросы. Спросите модель: «Откуда ты взял эту информацию? Приведи источник». Если ссылка не открывается или её не существует, перед вами галлюцинация.
3. Используйте ИИ как черновик, а не как эксперта. Чат-бот хорош для структурирования, генерации идей, ускорения рутины. Финальную проверку фактов делает человек.

Что это значит для вас по ролям?

Автору Дзена. Если вы используете нейросети для написания статей, каждый факт, цитату, название нужно проверять вручную. Одна выдуманная деталь может подорвать доверие аудитории, а платформа всё жёстче наказывает за недостоверный контент.

Маркетологу. Автоматические отчёты, аналитика, тексты для рассылок, везде, где нейросеть работает с данными, нужен человеческий контроль на выходе. Ошибка в цифрах или фактах бьёт по репутации бренда.

Предпринимателю в РФ. Российские модели, YandexGPT и GigaChat, галлюцинируют точно так же. Если вы внедряете ИИ в бизнес-процессы, пропишите регламент верификации: кто проверяет, на каком этапе, по каким критериям. Готовых российских стандартов верификации ИИ-отчётов для критически важных решений пока нет, и этот инцидент показывает, насколько они нужны.

Частые вопросы

Галлюцинации нейросетей можно полностью устранить?

По данным CNN, ссылающейся на исследователей в этой области, полностью предотвратить галлюцинации у больших языковых моделей, возможно, нельзя. Промпты вроде «не выдумывай» снижают частоту ошибок, но не исключают их. Поэтому проверка человеком остаётся обязательной.

Инцидент с кораблём действительно мог привести к войне?

Один из четырёх источников CNN, знакомых с деталями эпизода, прямо сказал: «Это чуть не начало войну». Военные США готовили перехват китайского судна с авиационной поддержкой. Досмотр военного или торгового судна другой страны в международных водах, это акт, способный спровоцировать вооружённый ответ.

Как этот случай касается обычных пользователей ИИ?

Механизм галлюцинации одинаков для военного аналитика и для автора блога: модель выдаёт уверенный ответ, человек не проверяет, ложь попадает в итоговый документ. Масштаб последствий разный, но привычка не проверять одна и та же. Если вы работаете с нейросетями, выработайте правило: ни один факт из ответа ИИ не идёт в финальный текст без ручной сверки.