ИИ-агент Google за полгода нашёл в V8 45 уязвимостей против 37 у фаззера, общих лишь четверть

Сравнение опубликовала Project Zero, исследовательская команда Google по поиску уязвимостей. Фаззер (fuzzer) работает как неутомимый тестировщик: он генерирует тысячи случайных программ и ждёт, пока система «упадёт». ИИ-агент (agent) читает свежие правки в коде, рассуждает о них и сам пишет доказательство найденной проблемы.

Что нового показал эксперимент Project Zero?

Испытания проходили на V8, программе внутри Chrome, которая исполняет код сайтов. Это проверенный годами движок со сложной системой тестирования, а баги в нём обычно запутанные. Поэтому он и подошёл как полигон для поиска глубоких ошибок.

• Сырых баг-репортов у BigSleep 441, у Fuzzilli 316.
• Если оставить только записи с пометкой «уязвимость», картина переворачивается: у Fuzzilli 178, у BigSleep 95.
• После отсева дубликатов и записей без реального исправления остаются «рабочие» уязвимости: 45 у BigSleep и 37 у Fuzzilli.
• Совпали 25% найденного. Дополнительные опыты на уязвимостях с 2023 года дали теоретическое пересечение около 60%.
• BigSleep работает на основе LLM (большой языковой модели, той же технологии, что стоит за чат-ботами).

Обе системы отправляют находки через Clusterfuzz, внутреннюю службу Google. Она сортирует сбои и сама заводит задачи в трекере Chrome. Сравнение получилось почти прямым: инструменты проверяют свежий код одного проекта и отчитываются в одном месте.

Почему 25% и 60% не противоречат друг другу?

Авторы предупреждают, что первый способ подсчёта склонен занижать пересечение. Поэтому они поставили отдельные эксперименты, и по ним вышло около 60%. Вывод от выбора цифры не зависит: заметную часть уязвимостей нашёл только ИИ или только фаззер.

Режимы работы у систем разные. Fuzzilli крутится непрерывно на множестве машин и подхватывает изменения в течение нескольких часов. BigSleep запускают раз в сутки: он просматривает новые правки кода и для каждого бага пишет тест-доказательство (proof-of-concept).

Ещё одна деталь важна для оценки результата. Автоматический конвейер BigSleep заработал только в апреле, и поначалу агент приносил много проблем настройки без реального влияния на безопасность. Даже с таким стартом он вышел вперёд по «рабочим» уязвимостям.

Как попробовать связку фаззера и ИИ у себя?

Готовой кнопки для всех нет: BigSleep работает внутри Google. Но рекомендация Project Zero применима к любому коду.

1. Если у вас или вашего подрядчика есть свой сайт, сервис или бот, спросите, тестируют ли код фаззингом.
2. Добавьте к этому проверку свежих правок ИИ-агентом, как советуют авторы исследования.
3. Не заменяйте один метод другим. По данным Project Zero, они пока дополняют друг друга.

Есть ли российский аналог?

Из доступных в РФ нейросетей можно назвать YandexGPT и GigaChat. Источник их не тестировал, поэтому переносить на них цифры Google нельзя. Для разбора небольшого фрагмента кода они годятся как помощник, но не как замена профессиональному аудиту.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена: это готовый сюжет для канала о технологиях без хайпа. Объясните читателю на цифрах 45 и 37, что ИИ уже находит дыры в браузере, которым он пользуется каждый день.

Маркетологу: тезис «ИИ заменит специалистов» эти данные не подтверждают. Честнее подавать ИИ как второй контур проверки рядом с привычными инструментами.

Предпринимателю РФ и СНГ: если ваш бизнес держится на собственном приложении или сайте, заложите в бюджет два вида проверки. Экономию на одном из них Google своими данными не оправдывает.

Что чаще всего спрашивают про фаззер и ИИ-агента?

ИИ уже лучше классических инструментов?

По «рабочим» уязвимостям BigSleep впереди, 45 против 37. По сырым записям с пометкой «уязвимость» впереди Fuzzilli. Сами авторы называют результат примерно ничьей с небольшим перевесом агента.

Можно ли воспользоваться BigSleep?

О публичном доступе источник не сообщает. Система работает внутри Google и проверяет код Chrome.

Значит, хватит одного ИИ?

Нет, и это главный вывод исследования. Project Zero советует сочетать фаззинг и агентный анализ, тогда до пользователей доберётся меньше уязвимостей.