Microsoft открыла olmo-eval: оценка языковых моделей теперь встроена в каждый этап обучения

Инструмент выпустил Allen Institute for AI (Ai2), исследовательская лаборатория, стоящая за серией открытых моделей OLMo и Tulu. olmo-eval продолжает их предыдущий проект OLMES (Open Language Model Evaluation Standard), стандарт оценки языковых моделей, появившийся в 2024 году. OLMES решал конкретную проблему: одни и те же модели на одних и тех же тестах получали разные баллы из-за различий в формате промптов (промпт, текстовая инструкция для модели) и формулировке задач. olmo-eval идёт дальше и покрывает весь цикл разработки, а не только финальный результат.

Что делает olmo-eval и чем отличается от аналогов?

Инструмент состоит из четырёх компонентов, которые работают вместе, но могут использоваться и по отдельности.

• Абстракция «задача, набор, обвязка». Задача описывает, что именно проверяется. Набор группирует задачи для совместного запуска. Обвязка (harness) определяет, как запускать каждую задачу. Это разделение позволяет прогнать один и тот же тест и в базовом режиме, и с инструментами, не меняя саму метрику.
• Песочница и маршрутизация. Если модель должна написать и выполнить код или использовать веб-поиск, olmo-eval запускает эти инструменты и возвращает результат модели. Лёгкие тесты, где модель просто отвечает на вопросы, запускаются напрямую, без контейнеров, что быстрее и дешевле.
• Единая схема экспериментов. Каждый запуск, его настройки и результаты записываются в одном структурированном формате. Это позволяет группировать эксперименты, сравнивать контрольные точки во времени и не терять данные в длинных циклах разработки.
• Попромптовое сравнение. Вместо одного общего балла olmo-eval выстраивает одни и те же вопросы для двух версий модели и сравнивает ответы один к одному. Каждый балл сопровождается стандартной ошибкой и минимальным обнаруживаемым эффектом (наименьшая разница, которую можно надёжно отличить от шума). Это помогает понять, реальное ли улучшение вы видите или статистический шум.

Чем olmo-eval отличается от Harbor?

Авторы прямо сравнивают свой инструмент с Harbor, открытой платформой для оценки ИИ-агентов (ИИ-агент, программа, которая сама выполняет задачи, используя инструменты) в изолированных контейнерах. Разница в фокусе: Harbor предназначен для публикации готовых бенчмарков агентов, olmo-eval построен для ежедневной работы разработчика.

Harbor запускает всё внутри изолированных контейнеров, что ресурсоёмко. olmo-eval позволяет выбирать: простой тест идёт напрямую, контейнер подключается только когда тест действительно этого требует.

Добавление нового бенчмарка в Harbor предполагает шаги верификации для публичного использования. В olmo-eval процесс зависит от задачи: короткое описание для базового теста, обёртка для бенчмарка с собственным кодом, или настройка с инструментами. Все компоненты модульные: модель, инструменты, среда, модель-судья (LLM, которая оценивает ответы другой LLM) заменяются независимо друг от друга.

Одни и те же модели оценивались на одних и тех же бенчмарках по-разному: формат промптов и формулировка задач часто менялись от статьи к статье, поэтому заявления о том, какая модель лучше, зачастую не воспроизводились. : Команда Allen Institute for AI, блог на HuggingFace

Что это значит для вас?

Разработчику моделей в РФ и СНГ. olmo-eval позволяет стандартизировать оценку языковых моделей на каждом этапе обучения: от подбора обучающих данных (training data, набор текстов, на которых модель учится) до масштабирования. Вместо того чтобы собирать скрипты вручную, вы получаете единый стенд с попромптовым сравнением и статистикой шума. Инструмент открытый, код доступен, ограничений по региону нет.

Автору Дзена и копирайтеру. Напрямую вы этим инструментом пользоваться не будете. Но olmo-eval ускоряет цикл разработки открытых моделей (открытая модель, модель с опубликованным кодом и весами, которую может скачать и запустить любой), а значит, модели, которые вы используете для генерации текста, будут быстрее проходить проверку качества и реже выдавать галлюцинации (когда ИИ уверенно выдумывает то, чего не было).

Предпринимателю, который строит продукт на LLM. Если вы дообучаете (fine-tuning, обучение модели на ваших примерах под узкую задачу) открытую модель под свои нужды, olmo-eval даёт способ измерить, помогло ли изменение или навредило, до того как вы выкатите обновление пользователям.

Если вы разрабатываете или дообучаете модель, попробуйте встроить olmo-eval в свой цикл экспериментов прямо сейчас: код открыт, документация опубликована, а попромптовое сравнение двух чекпоинтов покажет, стоило ли последнее изменение потраченных GPU-часов.

По материалам HuggingFace