GuardRate открыл аудит ИИ-фильтров: 37 моделей, 19 бенчмарков, единая методика

До сих пор сравнение моделей безопасности напоминало сравнение яблок с апельсинами: каждый разработчик тестировал на своих данных, своими метриками, на своём железе. GuardRate, проект, о первой части которого команда рассказала ранее, теперь раскрыл техническую начинку: архитектуру прогона, принцип отбора датасетов и формулу итоговой оценки Integral Score. Источник публикации не раскрывает сумму привлечённого финансирования и тип сделки, поэтому речь идёт не о раунде инвестиций, а об открытии инфраструктуры, которая сама по себе меняет экономику оценки безопасности ИИ.

Как устроен конвейер и почему это не «ещё один тест»?

GuardRate собран по принципу Evaluation-as-Code: весь процесс запускается одной командой в терминале, конфигурация задаётся в файле YAML (текстовый файл с настройками, как рецепт для кухонного робота), а результат записывается в отдельную папку эксперимента.

Три принципа, на которых держится воспроизводимость:

• Изоляция. Каждая модель работает внутри Docker-контейнера (изолированной среды, как отдельный компьютер внутри компьютера). Облачные API (интерфейсы доступа к моделям через интернет) не используются, потому что провайдер может незаметно обновить модель между запросами.
• Автоматизация. Инструмент сам скачивает датасеты, загружает модель, получает ответы и считает метрики. Человек не вмешивается в процесс, а значит, не вносит ошибку.
• Единая шкала. Все ответы модели приводятся к двум меткам: safe (безопасно) или harm (вредно). Если парсер (модуль разбора ответа) не может распознать формат, пример засчитывается как ошибка.

19 бенчмарков: от атак до ложных срабатываний

Команда отбирала датасеты в два этапа. Сначала каждый бенчмарк оценивали отдельно: по цитируемости в научном сообществе, языковой поддержке, разнообразию категорий вреда и применимости к реальным сценариям.

Затем наборы анализировали совместно, чтобы снизить пересечение данных. Для этого построили граф зависимостей между бенчмарками и убирали те, что дублировали друг друга по содержанию. Например, WildGuard заменили на PolyGuard, потому что последний шире по языкам.

Итоговая коллекция разбита на кластеры:

• Атаки: HarmBench, MultiJail и другие проверяют, пропустит ли модель вредоносный запрос.
• Ложные срабатывания: XSTest, OverRefusalBenchmark показывают, не блокирует ли модель безобидные запросы.
• Русскоязычная и мультиязычная специфика: отдельные наборы проверяют, как модель ведёт себя с атаками на русском языке.

Именно наличие русскоязычных бенчмарков отличает GuardRate от большинства западных лидербордов, где русский язык либо отсутствует, либо представлен машинным переводом.

Integral Score: одно число вместо россыпи метрик?

Команда объясняет, почему привычные F1 и Accuracy (метрики общей точности) плохо работают для guardrail-моделей: модель может показывать высокую точность в среднем, но при этом пропускать опасные запросы или, наоборот, блокировать безобидные.

Вместо них GuardRate использует два показателя:

• FNR (False Negative Rate, доля пропущенных атак): сколько вредоносных запросов модель ошибочно пометила как безопасные.
• FPR (False Positive Rate, доля ложных срабатываний): сколько безопасных запросов модель ошибочно заблокировала.

Из них собирается Integral Score, итоговый ранжирующий показатель. Формула идёт снизу вверх:

1. Dataset Score считает взвешенную сумму FPR и FNR для каждого сплита (подвыборки) внутри бенчмарка.
2. Group Score объединяет оценки сплитов до уровня бенчмарка через гармоническое среднее (оно жёстко штрафует за провал хотя бы в одном сплите).
3. Integral Score агрегирует все группы через геометрическое среднее, которое не позволяет компенсировать провал в одном кластере успехом в другом.

Логика проста: модель не может «отыграть» пропуск атак за счёт низкого числа ложных срабатываний. Провал в любом направлении тянет итоговый балл вниз.

Мы стремимся к тому, чтобы модель не была излишне осторожной, но и не проявляла халатности. : Команда GuardRate

Что это значит для вас?

Автору на Дзене. Если платформа, на которой вы работаете, использует guardrail-модель и она слишком агрессивна, ваши тексты могут блокироваться без причины. GuardRate даёт аргументы: можно посмотреть, как конкретная модель-фильтр справляется с ложными срабатываниями на русскоязычных данных, и обратиться в поддержку с фактами, а не с эмоциями.

Маркетологу. При выборе ИИ-сервиса для генерации контента теперь можно проверить, какой фильтр стоит «на входе» и насколько он адекватен. Лидерборд GuardRate покажет, какие модели чаще режут безобидные запросы, а какие, наоборот, пропускают проблемные.

Предпринимателю в РФ. Если вы разворачиваете ИИ-систему для клиентов, русскоязычные бенчмарки GuardRate позволяют протестировать фильтр до запуска, а не после первого инцидента. Инструмент открытый, запускается локально, облачный доступ не требуется.

Русскоязычные бенчмарки в открытом конвейере оценки, это не бонус, а необходимость для любого, кто строит или выбирает ИИ-фильтр для российского рынка, и GuardRate пока единственный проект, который эту необходимость закрывает инструментом, а не обещанием.