Google DeepMind раскрыл, что такое ИИ-агент для мошенников: три ловушки уже крадут деньги

Ненад Томашев, старший научный сотрудник Google DeepMind, дал интервью подкасту, который ведёт Ханна Фрай. Он описал три конкретных метода атак на ИИ-агентов (программы, которые сами выполняют задачи в интернете от имени пользователя) и объяснил, почему масштабирование агентных систем делает провалы неизбежными. Контекст важен: крупные компании одновременно продвигают агентные продукты и признают, что среда, в которой агенты работают, то есть открытый интернет, уже отравлена.

Что именно измеряли и зачем?

Формально это не лабораторный эксперимент с метриками, а экспертный разбор реальных угроз от исследователя внутри Google DeepMind. Томашев объяснил: ИИ-агент работает в среде, и этой средой является веб. Если среда отравлена, агент неизбежно наткнётся на ловушку.

Что такое ИИ-агент в этом контексте: программа, которая сама ходит по сайтам, читает страницы, принимает решения и совершает действия (покупает, бронирует, переводит деньги) без постоянного контроля человека. Именно самостоятельность делает агента уязвимым: он «видит» код страницы иначе, чем человек, и может проглотить то, что человек никогда бы не заметил.

Три ловушки, которые уже работают

Скрытые токены. Токен (единица текста, которую «читает» нейросеть, обычно слово или его часть) можно спрятать в коде страницы так, что человек его не увидит. Агент, который разбирает «сырой» код, а не картинку на экране, проглатывает эти скрытые инструкции и начинает выполнять чужие команды.

Динамический клоакинг. Сайт определяет, кто перед ним: человек или агент. Если агент, страница подменяется. Томашев прямо сказал: по поведению на странице можно с высокой точностью отличить бота от человека и показать агенту совсем другой контент. Те, кто помнит «чёрное SEO» начала 2000-х, узнают приём: тогда поисковикам показывали одну страницу, людям другую.

Промпт-инъекция через контент. На странице размещается текст, который работает как скрытый промпт (инструкция для нейросети). Агент «читает» его и меняет цель. Томашев привёл пример: агент, которому поручили купить вино к свадьбе, заходит на сайт виноторговца, а там в код встроена инъекция, которая перенаправляет действия агента.

Все три метода объединяет одно: пользователь ничего не видит. Ловушка срабатывает в слое, недоступном человеческому глазу.

Масштаб превращает редкий сбой в системную проблему

Томашев подчеркнул ключевую мысль: если отдельное взаимодействие ненадёжно хотя бы в малом проценте случаев, система на масштабе статистически обречена на провал. А поскольку каждый запуск агента стоит вычислительных ресурсов, энергии и денег, ненадёжная система просто не окупается.

Он также подтвердил, что кражи уже происходили: люди, экспериментировавшие с агентами и давшие им доступ к кошелькам, теряли деньги. Причина: внутри безопасной тестовой среды всё работало нормально, а на открытом вебе агент столкнулся с ловушками, которые никто не закладывал в сценарии тестирования.

Чем больше агентов появляется в сети, тем выгоднее злоумышленникам расставлять ловушки: растёт «поверхность атаки». Томашев сравнил это с тем, почему хакеры чаще атакуют WordPress и Windows: массовость системы делает её привлекательной мишенью.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете или планируете использовать ИИ-агентов для сбора информации, парсинга цен или автоматических публикаций, имейте в виду: агент может «прочитать» на сайте то, чего вы не видите, и выполнить чужую инструкцию вместо вашей. Проверяйте результат работы агента вручную, особенно если он взаимодействовал с незнакомыми сайтами.

Маркетологам. Три описанных метода атаки напрямую касаются автоматизации воронок: агент, который сам обрабатывает лиды или управляет рекламным бюджетом, может быть перенаправлен через промпт-инъекцию. Пока не существует надёжной защиты, любой агент с доступом к деньгам или данным клиентов создаёт зону риска.

Предпринимателям в РФ и СНГ. Агентные функции уже появляются в продуктах «Яндекса» и Сбера. Описанные атаки не зависят от языка или юрисдикции: скрытые токены и клоакинг работают одинаково на русскоязычных и англоязычных страницах. Прежде чем давать ИИ-агенту доступ к платёжным системам или CRM, убедитесь, что он работает в контролируемой среде, а не на открытом вебе без фильтров.

Три конкретных вектора атаки, названных исследователем Google DeepMind, полезнее десяти абстрактных предупреждений об «опасности ИИ». Теперь, когда вам предлагают «полностью автономного агента, который сделает всё сам», вы знаете, какие вопросы задать: работает ли он с сырым кодом страниц, есть ли защита от промпт-инъекций и что случится, если сайт покажет ему не то, что видите вы.

По данным Search Engine Journal