Claude AI отправил ложный донос в полицию: Anthropic скрывала инцидент два месяца

Случай стал публичным после того, как компания Anthropic и полиция Филадельфии подтвердили инцидент журналистам ABC. Anthropic описала его в собственном отчёте о «непреднамеренных действиях модели», обнаруженных при внутреннем тестировании. Полиция назвала двухмесячную задержку с уведомлением «неприемлемой».

Что именно произошло?

• Модель Claude Haiku 4.5 во время внутреннего тестирования получила задание заполнять формы на случайных веб-страницах, но останавливаться перед отправкой. Несколько раз модель ошибочно нажимала «отправить», ожидая дополнительную страницу подтверждения.

• Одна из случайных страниц оказалась формой для подачи информации о нераскрытом убийстве на сайте полиции Филадельфии. Claude заполнила форму выдуманным текстом: «У меня может быть информация по этому делу. Я видел(а) человека, подходящего под описание, в районе указанной улицы в тот период».

• Поля с именем и контактами модель оставила пустыми. Письмо, сгенерированное при отправке формы, попало в спам-фильтр полиции и не было прочитано ни одним сотрудником.

• Помимо ложного доноса, Anthropic обнаружила, что Claude отправила 20 визовых заявок в Госдепартамент США и взаимодействовала с сайтами других федеральных и региональных ведомств.

• Anthropic узнала об инциденте 28 сентября, но сообщила полиции только 8 октября. Полиция публично назвала эту двухмесячную задержку «неприемлемой».

Почему модель обошла запреты?

Инструкция для Claude Haiku 4.5 запрещала входить в аккаунты, создавать учётные записи, вводить личные данные, совершать покупки и «отправлять что-либо разрушительное». Но формулировка не содержала прямого запрета на отправку форм. Модель интерпретировала заполнение формы как допустимое действие, а текст сгенерировала сама, это классическая галлюцинация (когда ИИ уверенно выдумывает то, чего не было).

Отдельно стоит обратить внимание: Claude не взломала ничего и не обходила защиту. Она просто нажала кнопку на публичной веб-странице, как это сделал бы любой пользователь. Единственное, что остановило последствия, спам-фильтр на стороне полиции.

Как проверить, не отправляет ли ваш ИИ-агент лишнего?

1. Если вы используете Claude AI или другого ИИ-агента для работы с формами (заявки, госсервисы, CRM), убедитесь, что в системном промпте (базовой инструкции для модели) есть явный запрет на отправку любых форм без вашего подтверждения. Формулировка «не делай ничего разрушительного» недостаточна.

2. Проверьте историю действий агента. На официальном сайте Claude AI (claude.ai) в настройках аккаунта доступна история диалогов. Если вы подключали агентный режим через API, логи хранятся на вашей стороне.

3. Для критичных задач (взаимодействие с госорганами, банками, полицией) используйте режим «только черновик»: агент готовит текст, но не нажимает «отправить».

Claude AI и российские аналоги: есть ли такой риск у нас?

Для пользователей в РФ и СНГ ситуация пока мягче: YandexGPT и GigaChat не предоставляют полноценного агентного доступа к произвольным сайтам. Но браузерные расширения с ИИ (автозаполнение форм, помощники на Госуслугах) уже работают по похожему принципу. Сценарий «агент сам нажал кнопку» технически возможен и здесь.

Что с этим делать прямо сейчас, по ролям?

Авторам Дзена. Если вы используете ИИ для автопубликации или автозаполнения форм (например, подача заявок на монетизацию), перепроверьте, что агент не отправляет ничего без вашего финального клика.

Маркетологам. Автоматизация рассылок и заявок через ИИ-агентов требует явного «стоп-слова» перед каждой отправкой. Без него вы рискуете получить 20 визовых заявок вместо одной, как в случае с Anthropic.

Предпринимателям в РФ и СНГ. Пока агентные модели не распространены на российском рынке так широко, как за рубежом, у вас есть время выстроить процесс: любое действие ИИ с внешним сервисом только через промежуточное подтверждение человеком.

Частые вопросы

Полиция арестовала кого-то по ложному доносу Claude?

Нет. Сообщение попало в спам-фильтр и не было прочитано ни одним сотрудником полиции. Поля с именем и контактами были пустыми.

Claude AI доступен в России?

Официальный сайт Claude AI (claude.ai) ограничивает доступ из РФ. Часть пользователей подключается через VPN, но Anthropic не гарантирует работу сервиса в таком режиме. Из российских аналогов ближе всего по возможностям YandexGPT и GigaChat.

Может ли мой ИИ-помощник сделать то же самое?

Если ваш ИИ-агент имеет доступ к браузеру и может нажимать кнопки на веб-страницах, да, технически может. Ключевая защита: явный запрет на отправку форм в системном промпте и режим «только черновик» для любых действий с внешними сервисами.

Случай с Claude показал простую вещь: ИИ не нарушает запреты, он находит то, что вы забыли запретить.