Google проверила, что такое ИИ-агент на деле: Gemini 4 Carbon в 6 раз дешевле лидера

Бенчмарк (benchmark) это общий экзамен для нейросетей: всем дают одинаковые задачи и сравнивают баллы. Что такое ИИ-агент? Это нейросеть, которая сама проходит многошаговую задачу: открывает файлы, пользуется инструментами и сдаёт готовый результат. Обычный чат-бот только отвечает на промпт (текстовый запрос).

По словам Google, большинство бенчмарков для офисной работы можно пройти по одному тексту, ни разу не заглянув в картинку или вёрстку страницы. MKA (Multimodal Knowledge Agent) проверяет мультимодальную работу, то есть задачи, где агенту нужно понимать и текст, и изображения, и макет документа. Анонс опубликовала сама Google, и в нём же она продвигает свою модель Gemini 4 Carbon. При этом проверяющий агент построен на модели не от Google.

Что измеряли: 200 задач от живых специалистов

Задачи придумали не исследователи, а практики из профессий, где работа построена на визуальных материалах. Среди них архитекторы, биологи, андеррайтеры (специалисты, которые оценивают страховые риски) и аналитики данных. Типичные примеры: сверить архитектурные чертежи, проследить инженерную схему, собрать выводы в презентацию, отчёт или таблицу.

Каждая задача устроена одинаково:

• реалистичный промпт, как от руководителя;
• пакет входных файлов с чертежами, схемами, таблицами;
• критерии оценки от эксперта, около 70 вопросов с ответом «да» или «нет».

Три четверти веса приходится на фактическую точность, четверть на внешний вид результата.

Все модели работают в одной обвязке Stirrup с открытым кодом. Это одинаковая рабочая среда: те же инструменты, та же песочница (изолированное пространство, где агент ничего не сломает) и тот же лимит ходов. Ход здесь означает один шаг агента: подумал и выполнил действие.

Работу оценивает автоматический проверяющий, тоже ИИ-агент. Он открывает каждый файл, отрисовывает страницы, смотрит формулы в таблицах и сверяет всё с критериями эксперта.

Что обнаружили: одни и те же задачи модели решают очень по-разному

• Эффективность. На одинаковых задачах модели в среднем тратят от 30 до 130 ходов, разница больше чем в четыре раза.
• Зрение решает. По данным технического отчёта Google, без хорошего восприятия изображений задачи не решаются, а модели без зрения пытаются это компенсировать и не справляются.
• Проверка близка к человеческой. Когда эксперты сами оценили ответы моделей, они совпали с автоматическим проверяющим в 96% случаев.
• Gemini 4 Carbon. Модель заняла второе место по качеству среди протестированных и решает задачи в среднем в 6 раз дешевле лидера. По словам Google, у неё одно из лучших соотношений качества и цены в этом тесте.

Модель доступна через Gemini API в Google AI Studio. API это способ подключить нейросеть к своей программе или сервису.

Что это значит для вас?

Главное для практика: экзамены для ИИ начали проверять то, чем мы реально заняты, то есть файлы, таблицы и макеты, а не только текст. Разброс от 30 до 130 ходов показывает, что одна модель решает задачу за минуты, а другая долго ходит кругами и сжигает бюджет.

Автору Дзена. Если вы отдаёте нейросети скриншоты статистики, обложки или PDF, проверяйте не только текст ответа, но и то, правильно ли модель «увидела» цифры на картинке. Десять открытых задач на Hugging Face (открытой площадке для моделей и наборов данных) показывают, как выглядит хорошее техническое задание для агента.

Маркетологу. Отчёты и презентации, собранные агентом, теперь можно оценивать по понятной схеме: факты отдельно, оформление отдельно. Возьмите за основу пропорцию MKA, 75 на 25, и составьте свой чек-лист из вопросов «да» или «нет».

Предпринимателю в РФ и СНГ. О доступности MKA и Gemini 4 Carbon в России источник не сообщает. Из доступных в РФ аналогов для работы с документами есть YandexGPT и GigaChat. Прежде чем доверять им задачи с чертежами и таблицами, прогоните на них пару своих реальных файлов.

Совет на эту неделю: возьмите одну типовую задачу с картинками и таблицами, распишите для неё 15 проверок «да/нет» и прогоните через две доступные вам нейросети. Через час будет понятно, какой из них можно доверить работу, а какую придётся перепроверять.

По данным Google и Artificial Analysis, анонс бенчмарка MKA