Что такое галлюцинации нейросетей: ИИ чуть не развязал конфликт США и Китая

Весной 2025 года американские военные в последний момент отменили вооружённую операцию против китайского судна, когда выяснилось, что разведданные, на которых строился приказ, были галлюцинацией ИИ-чатбота, сообщил CNN в пятницу.

Случай стал публичным благодаря материалу CNN и комментариям для TechCrunch. Он показывает, что такое галлюцинации нейросетей на практике: модель уверенно выдала ложную информацию, которая прошла по командной цепочке до стадии боевого вылета. Для любого, кто работает с ИИ, включая гражданские задачи вроде контента и аналитики, это предельно наглядный урок цены «доверия без проверки».

Что произошло и почему это опасно?

• Аналитик спецопераций запросил ИИ-чатбот, чтобы объединить открытые данные с засекреченной радиоэлектронной разведкой. Чатбот неверно определил содержимое грузового манифеста китайского судна.

• Модель «увидела» компоненты ядерного оружия, которых на борту не было. Это и есть галлюцинация (когда нейросеть уверенно выдумывает факт, которого не существует).

• Аналитик использовал тот же чатбот повторно, чтобы оформить ложные выводы в формат официальной разведывательной сводки. Документ выглядел как стандартный отчёт и разошёлся по командным каналам.

• Боевые самолёты уже были в воздухе, когда ошибку обнаружили и операцию отменили в последний момент.

• Инцидент произошёл на фоне войны с Ираном, когда Пентагон стремился ускорить принятие решений с помощью ИИ. По данным CNN, военное ведомство описывало ИИ как инструмент «ускорения цепочки поражения», чтобы командиры реагировали быстрее.

Парадокс в том, что скорость, ради которой военные внедряют ИИ, одновременно сокращает время на проверку. Ложная сводка прошла вверх по цепочке командования, прежде чем кто-либо поставил её под сомнение.

Что говорят эксперты?

Джейк Стеклер, исследователь GovAI и ветеран армии США, в письменном ответе TechCrunch подчеркнул, что инцидент не повод отказываться от ИИ, а повод добавить защитные механизмы.

Особенно критично для любых решений, которые могут привести к применению силы: целеуказание, анализ разведданных, оперативное планирование. Эти решения имеют последствия, связанные с жизнью и смертью. : Джейк Стеклер, исследователь GovAI, ветеран армии США

Стеклер добавил, что приоритет скорости внедрения над всем остальным приведёт к инцидентам, которые подорвут доверие военных к этим системам, и в итоге только замедлят внедрение.

Что такое галлюцинации нейросетей и почему они здесь критичны?

Галлюцинация в контексте больших языковых моделей (LLM, Large Language Model, модели, которые генерируют текст) означает, что система выдаёт несуществующий факт с полной уверенностью. Она не «врёт» намеренно: модель предсказывает следующее слово на основе статистики обучающих данных (массива текстов, на которых она обучалась) и не отличает реальное от правдоподобного.

В гражданских задачах галлюцинация означает неверную цифру в статье или выдуманную ссылку. В военной разведке, как показал этот случай, она означает ложное основание для боевого вылета.

Дополнительный риск: аналитик дважды использовал один и тот же инструмент. Сначала для анализа, затем для оформления результата. Модель не может проверить саму себя, она лишь придала собственной ошибке вид официального документа.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. Если вы используете нейросети для фактчекинга или сбора данных, этот случай напоминает: ИИ-чатбот не источник, а черновик. Любую цифру, имя, дату проверяйте по первоисточнику вручную. Особенно когда текст «выглядит убедительно», именно так выглядела ложная разведсводка.

Маркетологам и аналитикам. Автоматизация отчётности через ИИ экономит время, но отчёт, пропущенный без проверки, может стоить бюджета или репутации. Встройте в процесс этап ручной верификации ключевых фактов и цифр, до того как документ уходит руководству или клиенту.

Специалистам ОПК и военных ведомств в РФ. Американский случай показывает, что спешное внедрение нейросетей в критичные системы без жёстких протоколов проверки создаёт риски, которые перевешивают выигрыш в скорости. Галлюцинация прошла всю цепочку командования. Вопрос не «внедрять ли ИИ», а какие контрольные точки обязательны между выводом модели и решением человека.

Есть ли аналогичные риски в российских системах?

В России крупнейшие языковые модели, YandexGPT и GigaChat от Сбера, работают в гражданском сегменте: поиск, генерация текста, бизнес-аналитика. Обе модели подвержены галлюцинациям точно так же, как любая большая языковая модель. Публичных данных о применении российских LLM в военном планировании нет, но сам механизм ошибки универсален: он не зависит от страны-разработчика или языка модели.

Частые вопросы

Галлюцинации можно полностью устранить?

На сегодняшний день нет. Галлюцинации, свойство архитектуры больших языковых моделей: они предсказывают вероятное продолжение текста, а не проверяют истинность. Можно снизить частоту (дообучением, то есть обучением модели на проверенных примерах под конкретную задачу, или ограничением области запросов), но гарантировать нулевой уровень ложных ответов пока невозможно.

Почему аналитик не заметил ошибку?

Потому что модель оформила ложный вывод в стандартный формат разведывательной сводки. Документ выглядел точно так же, как проверенный отчёт. Это ключевая опасность: чем убедительнее формат вывода, тем ниже критичность восприятия у человека. Стеклер в комментарии для TechCrunch прямо указал: военнослужащие должны понимать неопределённость, заложенную в ответах LLM.

Значит ли это, что военным нужно отказаться от ИИ?

Нет, и эксперт Стеклер подчёркивает это прямо: инструменты полезны в правильном контексте и с правильными защитными механизмами. Проблема не в технологии, а в том, что скорость внедрения поставили выше протоколов проверки. Вывод для любой сферы, от армии до блога: между ответом нейросети и финальным решением должен стоять человек с чек-листом.