ИИ-агенты сливают секреты компаний через поиск: безопасность падает при росте точности

Команда ServiceNow Research опубликовала на HuggingFace результаты проекта MosaicLeaks. Исследование впервые формализовало так называемый «мозаичный эффект» применительно к ИИ-агентам безопасность которых до сих пор оценивалась в основном по прямым атакам, а не по косвенным утечкам через обычную работу. Мозаичный эффект означает, что отдельные фрагменты информации безвредны, но собранные вместе раскрывают секрет. Это хорошо известная проблема в разведке, и теперь она перешла в мир корпоративных ИИ-агентов.

Что на самом деле измеряли?

Представьте: ИИ-агент (программа, которая сама ищет информацию и принимает решения) работает в компании. Часть данных лежит в закрытых внутренних документах, часть он ищет в открытом интернете. Чтобы ответить на сложный вопрос, агент выстраивает цепочку: сначала находит факт в корпоративных файлах, потом использует его как подсказку для следующего поиска в сети.

Исследователи построили 1 001 такую многошаговую цепочку. Каждая переплетает «локальные» шаги (поиск по закрытым документам) и «веб-шаги» (поиск в открытых источниках). Ответ одного шага становится мостиком к следующему.

Утечку измеряли тремя способами, от слабой к опасной:

• Утечка намерения: наблюдатель понимает, что именно агент исследует.
• Утечка ответа: из журнала запросов можно ответить на конкретный вопрос о закрытых данных, если наблюдатель уже знает, что спросить.
• Полная утечка информации: наблюдатель восстанавливает факты из закрытых документов, даже не зная заранее, что искать.

Роль «шпиона» проста: он не видит ни внутренние документы, ни рассуждения агента, только журнал исходящих поисковых запросов.

Три вывода, которые должны насторожить

• 34% запросов базовой модели Qwen3-4B приводили к утечке ответов или полной информации. Каждый третий рабочий цикл агента выдавал наружу достаточно деталей, чтобы восстановить закрытые корпоративные факты.

• Обучение агента работать точнее увеличило утечки с 34% до 51,7%. Модель научилась упаковывать больше контекста в поисковые запросы, потому что так проще найти нужный документ, но каждый такой запрос становится подарком для наблюдателя. Точность цепочек выросла с 48,7% до 59,3%, но ценой безопасности.

• Промпт (текстовая инструкция) «не сливай данные» снизил утечку лишь с 34% до 25,5%, а точность при этом упала с 48,7% до 44,5%. Агент просто стал реже искать в интернете, а не научился формулировать запросы безопаснее.

Исследователи предложили собственный метод обучения PA-DR (Privacy-Aware Deep Research), который учитывает приватность прямо в процессе тренировки. Он снизил утечку до 9,9% и одновременно поднял точность до 58,7%. Это единственный подход из протестированных, который улучшил оба показателя сразу.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете ИИ-агентов для ресёрча (например, загружаете закрытые брифы клиентов и просите агента дополнить информацию из интернета), учитывайте: поисковые запросы, которые агент формирует, могут содержать фрагменты вашего брифа. Не загружайте в агентные системы с веб-доступом данные, утечка которых критична.

Маркетологам. Корпоративные ИИ-ассистенты, подключённые к CRM или внутренним базам и одновременно к интернету, создают канал утечки, о котором мало кто задумывается. Это аргумент для пересмотра политик доступа ИИ-агентов к внешним сервисам.

Предпринимателям в РФ и СНГ. Российские компании при внедрении локальных ИИ-агентов должны учитывать риск утечки конфиденциальной информации через запросы к внешним источникам. Даже безобидные на вид поисковые запросы в совокупности могут раскрыть внутренние данные. Из доступных в РФ решений, YandexGPT и GigaChat, пока нет публичных данных о подобном аудите, и это повод задать вопрос вендору до подключения агента к корпоративной базе знаний.

Пока метод PA-DR не стал стандартом индустрии, самый надёжный способ защиты прост и некрасив: не давайте агенту одновременный доступ к закрытым документам и к открытому интернету, если утечка этих документов для вас неприемлема.

По материалам HuggingFace