Anthropic объяснила, что такое ИИ-агент и почему его судья ошибается в 20% случаев

Anthropic, разработчик моделей Claude, выпустила документацию, в которой классифицирует три способа проверки ИИ: код (быстрый, но негибкий), человек (гибкий, но дорогой) и модель-судья (быстрая и гибкая, но с неподтверждённой надёжностью). Руководство появилось на фоне того, что всё больше команд поручают одной нейросети оценивать ответы другой, не понимая границ метода. Исследование Zheng и соавторов на тестах MT-Bench и Chatbot Arena, на которое ссылается Anthropic, показало: сильные судьи вроде GPT-4 совпадали с предпочтениями людей более чем в 80 % случаев, и это сопоставимо с согласием между самими людьми (81 %). Но из этого не следует, что судья найдёт конкретную ошибку в расчёте или выдуманную ссылку.

Что на самом деле проверяет модель-судья?

ИИ-агент, то есть программа, которая сама планирует шаги, вызывает инструменты и принимает решения без команды пользователя на каждом этапе, стал главным форматом продуктов 2025 года. Проблема в том, что проверить тысячу ответов агента вручную физически невозможно. Поэтому проверку поручают другой модели.

Схема выглядит просто: вы даёте сильной модели вопрос, ответ и критерии, а она возвращает оценку. Anthropic рекомендует минимальный набор правил:

• Писать подробную рубрику: что именно считается хорошим ответом, а не абстрактное «оцени качество».
• Требовать вердикт в жёстком формате: «верно/неверно» или балл по шкале от 1 до 5.
• Просить сначала рассуждение, потом вердикт.
• Использовать для оценки модель другого семейства, не ту, что писала ответ.

Пример из документации: для ответа службы поддержки рубрика содержит двоичные критерии. Назван ли номер заказа? Не обещаны ли сроки, которых нет в базе? Нет ли просьбы прислать пароль? Предложен ли следующий шаг? Каждый пункт судья помечает как PASS или FAIL и цитирует фрагмент, на который опирается. Такой формат калибровать и перепроверять проще, чем абстрактную оценку «7 из 10».

Четыре предвзятости, которые ломают результат

Авторы исследования прямо называют четыре системных перекоса судьи. Это не случайные сбои, а воспроизводимые паттерны.

Позиция ответа. При парном сравнении судья склонен предпочитать ответ, стоящий первым. Лечится просто: прогнать сравнение дважды, поменяв местами, и засчитывать победу, только если вердикт не зависит от порядка.

Длина. В тесте «повторяющегося списка» модели GPT-3.5 и Claude v1 отдавали предпочтение длинному ответу, даже когда длина достигалась пустым повтором. GPT-4 с этим справлялся. Модели 2023 года, но проверить на своих данных стоит и сейчас.

Самопредпочтение. Судья оценивает собственные тексты выше, чем люди-разметчики. Практический вывод прост: если ответ писала модель X, ставить X же в судьи нельзя.

Сходство моделей. Исследование на более чем 350 моделях показало, что ошибки коррелируют, особенно у моделей одного разработчика. Судья из другого семейства полезнее, чем копия того же.

Работа Verga и соавторов показала, что панель из нескольких небольших моделей разных семейств может превзойти одного крупного судью. Но если ошибки коррелируют, выигрыш тает: в препринте 2026 года девять судей давали около двух эффективных голосов. Авторы источника подчёркивают, что это препринт, а не установленный факт.

Самопроверка без внешних данных не работает

Идея «пусть модель перечитает и исправит себя» звучит логично, но данные говорят иное. Huang и соавторы (ICLR 2024) показали: без внешней обратной связи модели плохо исправляют собственные ответы, а иногда качество даже падает. Помогают только проверки с внешними инструментами: исполнение кода, поиск, калькулятор.

Для тех, кто задаётся вопросом, что такое ИИ-агент в контексте самопроверки: речь идёт о программе, которая не просто генерирует текст, а вызывает внешние инструменты (браузер, калькулятор, базу данных) для верификации. Без этих инструментов «рефлексия» модели остаётся замкнутым кругом.

Без внешней обратной связи модели плохо исправляют собственные ответы, а иногда качество даже падает. : Huang и соавторы, ICLR 2024

Что это значит для вас?

Каркас проверки, который предлагает Anthropic, выстроен по приоритету: сначала код и автотесты для всего, что можно описать правилом; затем модель-судья другого семейства с подробной рубрикой; потом сверка с оценками людей; и человек на спорных и необратимых решениях. Порядок не случаен: каждый следующий слой дороже, но ловит то, что пропустил предыдущий. Кто выстроит этот конвейер первым и откалибрует его на русскоязычных данных, получит реальное преимущество, а не красивый дашборд с бессмысленными баллами.