GPT-Red от OpenAI снизил успешность атак на модели с 90% до 23%

До появления GPT-Red ред-тиминг, то есть поиск уязвимостей в моделях, выполняли живые специалисты. Но с ростом числа задач, где используются большие языковые модели (LLM), особенно в формате ИИ-агентов (программ, которые сами выполняют действия: читают почту, редактируют код, ходят по сайтам), людям всё сложнее перебрать все возможные виды атак. Об этом рассказало издание MIT Technology Review со ссылкой на эксклюзивное интервью с исследователями OpenAI.

Что сделали и как это работает?

OpenAI взяла языковую модель, которая изначально не была обучена как хакер, и поместила её в так называемый цикл самоигры (self-play loop) с несколькими другими моделями. Задача GPT-Red: атаковать. Задача остальных: защищаться. За множество раундов атакующая модель становилась всё изощрённее, а защитники учились отбиваться.

Тренировка проходила в специальной среде, имитирующей реальные сценарии: просмотр веб-страниц, чтение почты и календаря, редактирование кода. Именно те случаи, в которых ИИ-агенты сегодня работают на практике.

Основное внимание компания сосредоточила на промпт-инъекциях (prompt injection). Это тип атаки, при котором злоумышленник подсовывает модели скрытые инструкции, заставляя её, например:

• копировать конфиденциальные данные,
• портить код компании,
• генерировать нежелательный контент.

Такие инструкции могут быть спрятаны в любом тексте, который модель обрабатывает: на сайте, в письме, в коде.

«Поддельная цепочка рассуждений»: атака, которую нашла машина, а не человек

GPT-Red обнаружил ранее неизвестный тип промпт-инъекции, названный «поддельная цепочка рассуждений» (fake chain of thought). Цепочка рассуждений (chain of thought) это внутренний «дневник» рассуждающей модели, где она фиксирует промежуточные шаги при решении задачи. GPT-Red нашёл способ вставить поддельную запись в этот дневник, чтобы модель приняла ложную информацию за свою проверенную.

Это как если бы я сказал вам, что 1+1=3, и что вы уже это проверили. Модель отвечает: «Ну конечно», и выдаёт 3. : Крис Шокетт-Чу, исследователь OpenAI

По данным OpenAI, когда GPT-Red получил те же задачи, что и живые ред-тимеры в эксперименте 2025 года, он нашёл больше работающих атак, чем люди. Также GPT-Red протестировали на Vendy, агенте вендингового автомата от компании Andon Labs: модель-хакер смогла изменить цены товаров и отменить заказ клиента.

Числа, которые показала OpenAI

Компания заявила, что более 90% сильнейших атак GPT-Red срабатывали против GPT-5 (выпущена в августе прошлого года). Против новой GPT-5.6 срабатывали менее 23%. Снижение с 90% до 23% компания объясняет именно тем, что GPT-5.6 тренировалась «в спарринге» с GPT-Red.

При этом GPT-Red не идеален:

• Плохо справляется с атаками, которые требуют многоходового диалога между хакером и целью. Живым атакующим такие атаки даются без проблем.
• Пока слабо использует изображения, которые тоже могут служить каналом для промпт-инъекций.

Люди по-прежнему находят атаки, которые GPT-Red пропускает. Один из подходов OpenAI: передать модели человеческую атаку и попросить найти все её вариации.

Я думаю, что человеческая экспертиза по-прежнему очень важна. Было бы полезно научиться определять, где тестирование людьми нужнее всего. : Джессика Джи, старший аналитик по безопасности ИИ, Центр безопасности и новых технологий (CSET), Джорджтаунский университет

OpenAI не планирует публиковать GPT-Red. Компания уверена, что воспроизвести эту модель непросто: на её создание ушло больше года при вычислительных ресурсах одной из богатейших компаний мира.

Что это значит для вас?

Факт в том, что защита LLM перестала быть задачей только для людей. OpenAI показала, как модель обучает модель защищаться, и привела конкретные числа снижения успешных атак. Для тех, кто внедряет ИИ-агентов в бизнес-процессы, вывод один: тестируйте безопасность своих сценариев до запуска, а не после первого инцидента.