Что такое ИИ-агент, когда он ошибается: убытки уже достигли $4,4 млн на компанию

Исследование, собранное из открытых кейсов Google, Cursor, отчётов EY, Deloitte, Stanford RegLab, Stanford HAI и бенчмарков OpenAI, впервые сводит разрозненные инциденты в единую картину: сколько стоит ошибка ИИ-агента, как быстро растут убытки и где проверка окупается. Источник систематизирует случаи с суммами от 812 долларов до примерно 100 миллиардов и предлагает формулу оценки ущерба для любой системы.

Чем ошибка ИИ-агента отличается от ошибки чат-бота?

Чтобы понять, что такое ИИ-агент в контексте рисков, нужно увидеть одно отличие. В чате человек читает ответ и сам решает, использовать его или нет. Агент разбирает ответ модели в параметры инструмента и выполняет действие без участия человека.

Одна и та же галлюцинация модели в агентном сценарии приводит к четырём типам последствий:

• Вызов API с неверными параметрами. Заказ оформлен, доступ выдан, заявка закрыта. Результат уже в чужой системе.
• Запись в базу данных. Ошибка остаётся, пока кто-то её не найдёт. Откат из резервной копии уничтожает все легитимные записи после точки восстановления.
• Отправка письма или уведомления. Сообщение нельзя отозвать. Исправление требует второго письма клиенту.
• Финансовая транзакция. Обратная операция несёт свои комиссии и сроки, а иногда её невозможно провести.

Для чат-бота характерны первые четыре типа галлюцинаций по механизму потерь. Пятый тип, необратимое действие, возможен только у агента. Стоимость ошибки определяется тремя переменными: тип галлюцинации, обратимость действия и время до обнаружения.

Три кейса, которые уже обошлись дорого

Google Bard, февраль 2023. В рекламном ролике Bard заявил, что телескоп «Джеймс Уэбб» сделал первые снимки экзопланет. На самом деле первые такие снимки в 2004 году сделал «Очень большой телескоп» Европейской южной обсерватории. В день обнаружения ошибки акции Alphabet падали почти на 9 процентов. Кейс показателен: галлюцинация была текстовой, но контекст (публичная демонстрация продукта) превратил её в рыночное событие.

Cursor, апрель 2025. Пользователи IDE Cursor теряли сессии при переходе между устройствами. Бот поддержки сообщил, что подписка ограничена одним устройством, а выход из аккаунта является мерой безопасности. Такой политики не существовало. Ответ разошёлся по Reddit и Hacker News, часть клиентов отменила подписки. Компания признала ошибку и начала маркировать ответы ИИ-поддержки. Точных цифр оттока Cursor не публиковал.

Здравоохранение, кейс Deloitte. Рост потребления токенов (токен, это единица текста, которую модель обрабатывает за один шаг) на 8–10 процентов в месяц привёл к более чем 6 миллионам долларов незапланированных годовых расходов. Финансовая служба не видела причину, пока не стало поздно. Около триллиона токенов за шесть месяцев прошли без контроля.

Почему агент ошибается чаще, чем кажется?

Ошибки накапливаются по шагам. Если на каждом шаге агент работает безошибочно с вероятностью 98 процентов, после 20 шагов вся цепочка безошибочна с вероятностью около 67 процентов. При 95 процентах на шаг и 10 шагах надёжность падает примерно до 60 процентов. Модель упрощённая (на практике шаги не независимы), но она объясняет, почему надёжность отдельного шага не равна надёжности всего процесса.

Бенчмарк AgentHallu (693 траектории из 7 агентных фреймворков в 5 областях) проверяет, насколько модели способны найти шаг, на котором возникла первая галлюцинация. Источник ошибки в цепочке агента найти трудно.

Бенчмарк PersonQA из системной карты OpenAI показывает неожиданное: модель o3, более сильная по общим метрикам, галлюцинирует в 33 процентах ответов против 16 процентов у o1. У o4-mini показатель достигает 48 процентов. Бенчмарк проверяет знания без доступа к источникам и не равен частоте ошибок агента с поиском, но демонстрирует, что мощнее не значит точнее на конкретном типе задач.

Сколько стоит проверять то, что выдаёт ИИ?

Верификация, самая предсказуемая статья расходов. В среднем сотрудник тратит 4,3 часа в неделю на проверку выходов модели. При ставке 65 долларов в час это 279,50 доллара в неделю и около 14 200 долларов на человека в год.

Ключевое правило из источника: ручную проверку нужно концентрировать там, где ущерб от пропущенной ошибки велик, а для остального строить автоматические проверки. Равномерная проверка всего подряд обходится дороже всего.

Что это значит для вас?

Автору на Дзене. Понимание того, что такое ИИ-агент и чем его ошибка отличается от ошибки чат-бота, помогает объяснять тему аудитории без мифов. Если вы используете нейросеть для генерации постов, проверка фактов остаётся на вас. Но если вы подключаете агентные сценарии (автопубликация, автоответы, рассылки), каждое необратимое действие нужно закрывать контрольной точкой: подтверждение перед отправкой, лимит на сумму операции, логирование.

Маркетологу. Автоматизация поддержки через ИИ-агента экономит время, но кейс Cursor показывает, что одна выдуманная политика компании может запустить волну отмен подписок. Маркируйте ответы ИИ-поддержки, это уже делают после инцидентов, но дешевле сделать до.

Предпринимателю в РФ и СНГ. Из доступных в России инструментов: YandexGPT и GigaChat применяются в агентных сценариях, но публичных отчётов об аналогичных инцидентах пока нет. Формула из источника работает для любой системы: оцените стоимость необратимого действия, умножьте на вероятность ошибки и частоту, сравните с затратами на проверку. Если ущерб от пропуска выше стоимости ревью, ставьте ручную проверку. Для остального автоматические тесты.

Один вывод, который стоит запомнить: средняя галлюцинация дешёвая, а убытки формируют редкие события с поздним обнаружением и необратимыми последствиями. Проверяйте не всё подряд, а то, что нельзя откатить.

По данным исследования об экономике галлюцинаций ИИ-агентов