13 слов на Reddit заставляют ИИ-агента рекомендовать фейк: что такое ИИ-агент и почему он уязвим

Исследование вышло на фоне массового запуска агентных инструментов глубокого поиска. OpenAI Deep Research, Gemini Deep Research и открытые аналоги уже пишут развёрнутые отчёты с цитатами, а пользователи воспринимают такие отчёты как проверенные. Именно эту цепочку доверия изучили авторы статьи «Deep-Research Agents Can Be Poisoned via User-Generated Content», опубликованной на arXiv 22 мая. По данным Search Engine Land, работу провели Тинвэй Чжан, Гарольд Тридман и Виталий Шматиков из Cornell Tech.

Что именно проверяли?

ИИ-агент (программа, которая сама ищет информацию в интернете, собирает источники и пишет отчёт с цитатами) работает примерно как дотошный стажёр: открывает десятки страниц, выбирает релевантные куски и компонует ответ. Исследователи проверили, что случится, если на одной из таких страниц окажется короткая подставная фраза.

Метод назвали WARP (Web Agent Retrieval Poisoning, дословно «отравление поиска веб-агента»). Атакующему не нужен доступ ни к модели, ни к промпту (запросу, который направляет модель), ни к поисковой системе. Достаточно отредактировать или дописать текст на странице, которую агент и так склонен находить: тред на Reddit, статью в Wikipedia, пост на форуме.

Для тестов исследователи не трогали реальные сайты. Они создали симуляционную среду GeoStorm, которая подставляла изменённый текст в контент, уже полученный агентом. Полную атаку прогнали на трёх открытых системах: STORM, Co-STORM и OmniThink. OpenAI Deep Research и Gemini Deep Research анализировали только на предмет пользовательских цитат, без живых манипуляций, потому что это потребовало бы публикации поддельного контента в открытом интернете.

Что обнаружили?

• Минимальная вставка работает. В одном тесте предложение из 15 слов протащило вымышленную криптовалюту «BananaCoin» в отчёт Co-STORM как «перспективную» долгосрочную инвестицию. Агент процитировал подставной источник рядом с настоящими.

• Reddit оказался главной точкой входа. От 54% до 71% пользовательских URL, которые находили три открытые системы, вели на Reddit. Агенты при глубоком поиске запускают множество связанных запросов, и одни и те же пользовательские страницы всплывают снова и снова.

• Даже когда вставка занимала менее 4% текста полного Reddit-треда, фейковая сущность появлялась в 30%–53% отчётов, если страница попадала в выдачу агента.

• Защиты не справились. Блокировка пользовательских доменов убирала вектор атаки, но вместе с ним уходили живые отзывы и локальные рекомендации. Текстовые фильтры на основе перплексии (метрики, насколько текст «неожиданный» для модели) чаще отмечали обычный пользовательский контент, чем вставку, потому что вредоносный текст сам был написан нейросетью и выглядел гладко. Проверка готовых отчётов тоже не помогала: агент сам аккуратно вплетал фейк в нормальный ответ.

Что это значит для вас?

Понять, что такое ИИ-агент в контексте этого исследования, полезно каждому, кто читает или создаёт контент. Агент не просто генерирует текст, он сам ходит по сайтам и решает, чему доверять. Вот что с этим делать на практике.

Автору Дзена и копирайтеру. Если вы пишете обзоры, рейтинги или подборки, учитывайте: ИИ-агенты уже сейчас могут подтягивать фейковые рекомендации из форумов и подавать их как проверенные. Ваша экспертиза и ручная проверка источников становятся конкурентным преимуществом перед автоматическими отчётами.

Маркетологу. Исследование показывает обратную сторону «оптимизации под ИИ-поиск»: если агент легко подхватывает 13 слов с Reddit, значит, и ваш бренд могут подставить точно так же. Мониторьте упоминания на пользовательских платформах, особенно на тех, откуда агенты чаще берут данные.

Предпринимателю из РФ и СНГ. Русскоязычные площадки пользовательского контента, ВКонтакте, Яндекс.Кью, форумы вроде iXBT, работают по тому же принципу, что и Reddit: открытый текст, который агент может найти и процитировать. Локальные ИИ-агенты (от YandexGPT до GigaChat) индексируют именно эти площадки, и на менее модерируемых русскоязычных форумах подобные манипуляции могут оказаться проще, чем на англоязычных, просто потому что фильтрация слабее и конкуренция за внимание агента ниже.

Если вы используете любой инструмент глубокого поиска с ИИ-агентом, возьмите за правило: открывайте первоисточник, на который ссылается отчёт, и проверяйте, существует ли рекомендованный продукт или сервис за пределами одного пользовательского поста.

По данным Search Engine Land