NIST описал, что такое ИИ-агент под атакой: 4 цели нарушителя и 6 путей доступа

Институт сокращённо называют NIST. Новый документ SP 2400-102 E2026 развивает таксономию атак на системы машинного обучения 2025 года. Таксономия здесь означает единый справочник видов атак и способов защиты. Документ охватывает предиктивные, генеративные и агентные системы, а глава 4 целиком посвящена агентам.

Что такое ИИ-агент простыми словами: это программа на основе нейросети, которая не только отвечает на вопрос, но и сама планирует шаги и действует. Например, читает почту, ищет в интернете, вызывает другие сервисы. NIST собирает атаки на таких помощников в одну систему, чтобы разработчики, исследователи и специалисты по безопасности описывали угрозы одними словами. На эту классификацию потом собираются опираться при подготовке стандартов и практических руководств.

Что измеряли?

Это не замер, а карта уязвимых мест. Авторы разбирают атаки по этапам работы агента, по целям нарушителя и по тому, до чего он смог дотянуться. Нарушитель может вмешаться в постановку задачи, в планирование, в выполнение действий или в момент, когда агент получает результаты от инструментов и уточняет дальнейший план.

Целей у нарушителя NIST выделяет четыре: нарушить доступность, нарушить целостность, раскрыть чувствительные данные, использовать агента во вредоносных целях. Доступность ломают, например, когда заставляют агента бесконечно вызывать инструменты. Он тратит вычислительные ресурсы и не доводит задачу до конца.

При нарушении целостности агент меняет ход работы, выдаёт искажённый результат или делает то, чего пользователь не поручал. Удобная бытовая аналогия: секретарь, которому подсунули записку от имени начальника.

Что обнаружили?

Способ атаки зависит от того, к каким компонентам или данным получил доступ нарушитель. NIST описывает такие пути:

• Запрос пользователя. Нарушитель обходит ограничения модели. Опасную задачу дробят на внешне безобидные шаги, которые вместе дают нужный ему результат.
• Цепочка поставки модели. Модель подменяют или меняют до включения в агентную систему или во время интеграции. Для этого отравляют обучающие данные (подмешивают подлог в материалы, на которых учится модель) или вмешиваются в компоненты для дообучения, то есть доучивания модели под узкую задачу.
• Недоверенные данные и память. Подложные инструкции прячут в документы, веб-страницы и базы знаний, а агент принимает их за поручение. Это косвенная инъекция в промпт (indirect prompt injection), где промпт означает задание для нейросети.
• Долговременная память. Агент сохраняет подложные сведения и пользуется ими в следующих задачах. Так атака закрепляется между сеансами (persistence).
• Инструменты и навыки (skills). Вредоносная инструкция сидит в описании инструмента, в возвращаемых им данных или в подключаемом наборе инструкций и скриптов. Агент может поменять план ещё до вызова инструмента, а вредоносный код внутри инструмента ведёт к хищению данных или блокировке работы.
• Несколько агентов. Нарушитель захватывает одного агента и через него рассылает подложные сообщения остальным.

Отдельный раздел касается агентов, которые работают долго и помнят состояние между сеансами. Однажды внедрённая инструкция влияет на них постоянно, поэтому NIST советует отслеживать, что агент сохранил после атаки.

Защиту авторы делят на два уровня. Модель учат отличать поручение пользователя от инструкций в чужом содержимом, но специально подобранные атаки такую защиту обходят. Поэтому на уровне системы ограничивают передачу данных и операции даже тогда, когда модель уже исполняет внедрённую команду, а инструменты с возможным вредоносным кодом изолируют.

Обратите внимание на расстановку акцентов: NIST прямо пишет, что обученная модель не гарантия, и переносит основную страховку на правила вокруг неё.

Что это значит для вас?

Любой запрет для агента снижает его полезность, это признаёт и NIST. Поэтому заранее решите, какие операции агенту закрыты и справится ли он с задачей в таких условиях.

Автору Дзена. Если агент собирает для вас материалы с сайтов, помните: на странице может быть спрятана команда для него. Перепроверяйте факты и ссылки, которые он принёс, и не давайте ему права публиковать без вас.

Маркетологу. Агенту с доступом к почте и клиентской базе оставляйте отправку писем только после подтверждения сотрудником. Так же советует OWASP, открытое международное сообщество специалистов по безопасности приложений, в категории риска Excessive Agency, то есть «избыточная самостоятельность».

Предпринимателю РФ и СНГ. Классификация описывает устройство агента вокруг модели, поэтому её логика применима и к сборкам на отечественных моделях. Из доступных в РФ, это YandexGPT и GigaChat.

Прежде чем дать агенту доступ к почте или публикациям, решите, какое его действие без вашего подтверждения обойдётся дороже всего, и закройте именно его.

По данным NIST: первый публичный проект SP 2400-102 E2026