След промпт-инъекции остаётся в рассуждениях ИИ-агента: журнал нужно включать заранее

ИИ-агент, это нейросеть, которая сама выполняет задания: открывает сайты, читает почту, работает с файлами. Промпт-инъекция, это подложенная в текст команда, которую нейросеть принимает за задание пользователя. Работа AgentTracer опубликована на arXiv, в открытом архиве научных статей до рецензии.

Автор разбора сопоставила её с материалами Google, Microsoft и OWASP, открытого сообщества по безопасности приложений. Задача этой инструкции практическая: понять, как по журналу агента (записи всего, что он получил, обдумал и сделал) восстановить ход атаки и что включить в запись заранее. На русском таких руководств почти нет, а в России и СНГ подобные инциденты разбирают редко.

Почему атаку так трудно заметить?

Всё, что агент прочитал, попадает в единый контекст, общий черновик модели. Откуда пришла фраза, модель по сути не различает и реагирует на формулировку. По данным разбора, модели приучены выполнять самую свежую инструкцию и не умеют сами отличить разрешённую команду от подложенной, если та звучит убедительно.

При косвенной промпт-инъекции команда приходит в тексте, который агент открыл сам. Пользователь его не писал и часто не видел. Поэтому действия агента по чужой команде выглядят как обычная работа.

Что понадобится для разбора?

• Полный журнал сессии агента, включая его рассуждения.
• Точный текст, который модель получила на вход, вместе с полными адресами ссылок.
• Список вызовов инструментов и исходящих запросов агента.
• Записи в постоянную память ассистента и журналы прошлых сессий.
• Время: разбор одной сессии вручную занимает часы, а не минуты.

Восстановить атаку можно за семь шагов

1. Включите запись заранее. После инцидента недостающие данные уже не появятся.
2. Сравните действия агента с исходным запросом. Ядро AgentTracer строится на этом: при сработавшей инъекции агент делает то, чего не просили, и расхождение остаётся в журнале.
3. Ответьте на первый вопрос: инъекция это или ошибка агента. Ищите в рассуждениях, на чём он основал решение.
4. Найдите внешний ресурс, который принёс команду: страницу, письмо, файл, открытые до расхождения.
5. Найдите строку, через которую команда попала в контекст. Проверяйте полный адрес, включая часть после символа #.
6. Проверьте исходящие запросы: загрузки картинок, переходы по ссылкам с параметрами.
7. Если в текущей сессии причины нет, поднимите прошлые сессии и записи в память.

Для первичного просмотра журнала можно дать нейросети такой промпт:

Вот исходный запрос пользователя и журнал работы ИИ-агента.

1. Перечисли действия агента, которых пользователь не просил.
2. Для каждого найди в рассуждениях агента, чем он его обосновал.
3. Укажи, какой внешний документ и какая строка в нём предшествовали действию.
4. Выпиши все исходящие запросы с параметрами в адресе.

Итог работы нейросети проверяйте вручную. Классификация по одному тексту даёт ложные срабатывания, об этом ниже.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если отдаёте агенту пересказ чужих страниц, не давайте ему в той же сессии доступ к почте и аккаунтам. Чем меньше прав, тем короче возможная цепочка.

Маркетологу. Агенты, которые собирают данные с сайтов конкурентов, читают чужой текст целиком. Включите запись рассуждений и исходящих запросов до запуска, иначе разбор будет вслепую.

Предпринимателю в РФ и СНГ. Механика единого контекста в разборе описана для моделей в целом. Из доступных в РФ ассистентов, YandexGPT и GigaChat: если строите на них агента, закладывайте журнал с первого дня.

Google ожидает дальнейшего роста атак: агенты становятся ценнее как цель, а атаковать их дешевле. Когда фильтр на входе перестанет справляться, останется только журнал, и записывать его лучше начать до первого инцидента, а не после.