ByteDance открыла EdgeBench: 51 задача и 6 временных окон для оценки AI агентов

---

ByteDance открыла бенчмарк EdgeBench для оценки ИИ-агентов: 51 задача, пять моделей и код на Python, который можно запустить прямо сейчас.

Компания ByteDance выложила на Hugging Face датасет EdgeBench — бенчмарк (набор стандартизированных тестов) для оценки продвинутых ИИ-агентов (AI agents), программ, которые сами выполняют задачи без пошагового управления человеком. До сих пор большинство бенчмарков измеряли только финальный результат, а EdgeBench добавляет к оценке время: сколько минут агенту дали на взаимодействие, и как это повлияло на качество ответа. Разбор опубликован как туториал с полным кодом на Python, что редкость для подобных исследований.

51 задача в шести временных окнах

EdgeBench содержит 51 задачу, распределённую по нескольким категориям. Каждая задача описана JSON-файлом, в котором зафиксированы:

• категория задачи (от программирования до работы с интерфейсами)
• среда выполнения (base_image — контейнер, в котором запускается агент)
• необходимость интернета (часть задач требует доступа к сети)
• логика оценки (parser, rescale — как «сырой» результат превращается в нормализованный балл)
• игровой режим (game_mode — отдельная группа интерактивных задач)

Пять моделей проходят каждую задачу при шести временных бюджетах: 2, 4, 6, 8, 10 и 12 минут. В списке участников — Claude Opus 4.8, GPT-5.5, GPT-5.4, а также две модели из Китая: GLM-5.1 и DS-V4-Pro. Результаты зашиты прямо в README репозитория в виде Markdown-таблиц.

Как устроен анализ: от скачивания до кривых масштабирования?

Туториал выстроен как пошаговый конвейер. Сначала датасет скачивается через библиотеку huggingface_hub одной командой. Затем каждый JSON-файл задачи разбирается в плоскую таблицу, где видны параметры оценки.

Лидерборд (таблица результатов) извлекается парсингом README-файла. Имена моделей стандартизируются функцией canon_model, чтобы «opus», «deepseek» и другие варианты написания приводились к единому виду.

Дальше данные перестраиваются в «длинный» формат: одна строка — одна модель, одна задача, один временной бюджет. Это позволяет сравнивать результаты напрямую.

Финальный этап — подгонка лог-сигмоидных кривых масштабирования (log-sigmoid scaling curves). Проще говоря, исследователи проверяют, как растёт качество ответов агента, когда ему дают больше времени, и где эта кривая выходит на плато: дополнительные минуты перестают помогать.

Функции SForge rescale: зачем нормализовать «сырые» баллы?

Разные задачи оцениваются по-разному: где-то судья проверяет файл, где-то — интерактивный результат. SForge rescale — набор функций, которые переводят «сырую» оценку в нормализованный балл от 0 до 1. Без этого нельзя корректно сравнивать задачу, где максимум — 100 очков, с задачей, где максимум — 3.

В спецификации каждой задачи указан тип rescale (вид нормализации) и направление оценки (score_direction): выше — лучше или наоборот. Туториал показывает, как извлечь эти параметры и применить к результатам.

Что с этого вам по ролям?

Разработчику и тестировщику моделей. Код из туториала запускается «как есть» в Google Colab или Jupyter. Если вы тестируете отечественные модели — GLM-5.1 и DS-V4-Pro уже включены в лидерборд, можно добавить свою модель по аналогии и получить сравнение на тех же 51 задаче. Это экономит недели на создание собственного бенчмарка.

Автору Дзена и контент-маркетологу. Когда пишете обзор «какой ИИ-агент лучше», EdgeBench даёт проверяемые цифры вместо субъективных впечатлений. Ссылка на конкретную задачу и временной бюджет убедительнее, чем «я попробовал и мне понравилось».

Предпринимателю в РФ и СНГ. Бенчмарк показывает, что агенту не всегда нужно 12 минут: на части задач результат выходит на плато уже при 4 минутах. Для бизнеса это прямая экономия на инференсе (вычислениях при генерации ответа), если вы платите за время работы API.

Чем больше времени мы даём агенту, тем выше качество, но рост замедляется: лог-сигмоидная кривая выходит на плато, и дополнительные минуты перестают окупаться. : Из описания методологии EdgeBench, репозиторий ByteDance-Seed

Если вы тестируете ИИ-агентов для своего продукта, скачайте репозиторий ByteDance-Seed/EdgeBench, запустите первый блок кода и посмотрите, как ваша модель ведёт себя при бюджете в 2 минуты, именно там видна разница между агентом, который действительно думает, и тем, который просто тратит токены.