IFM выложила 6 открытых языковых моделей K2 Horizon и призналась в завышении бенчмарков на 3,37 п.п.

Публикация прошла на прошлой неделе. Сама IFM называет K2 Horizon крупнейшим полностью открытым релизом моделей в истории ИИ. Все шесть размеров доступны на HuggingFace под лицензией Apache 2.0, а API для запуска работают через платформы Compass, Cerebras и Nebius (последняя обслуживает русскоязычных пользователей). Источник фактов и цифр ниже: публикация Marktechpost.

Что измеряли?

K2 Horizon это не одна модель, а целое семейство: шесть размеров, от крошечной 0,9 млрд параметров (может работать даже на часах с квантизацией, то есть сжатием весов для слабого железа) до 375 млрд, из которых при каждом запросе активны только 23 млрд. Все шесть моделей разделяют одну архитектуру, словарь и инструменты развёртывания. Идея: прототипируй на маленькой, масштабируй на большую, не меняя инфраструктуру.

Каждую модель обучали примерно на 20 трлн токенов (токен, это фрагмент слова или символ, единица, которой модель «мыслит»). Около половины данных синтетические, а почти 17% корпуса составляют задачи с пошаговым рассуждением. Данные для дообучения (fine-tuning, адаптация модели под конкретные задачи) подмешивали прямо по ходу обучения, а не откладывали на конец, что позволило интегрировать более 100 млн уникальных синтезированных задач.

Две технические новинки: MoVA и Uno

IFM представила два подхода, которые стоит отметить отдельно.

MoVA (Mixture-of-Value Attention, «смесь экспертов в слое внимания»). Обычная архитектура MoE (Mixture-of-Experts, когда не все параметры модели работают одновременно) применяет разреженность только к слоям прямого прохода. MoVA расширяет этот принцип на механизм внимания. Результат: модель 36B-A4B содержит 36 млрд параметров, но при обработке каждого токена активны всего около 4 млрд. По таблицам IFM, она набирает 58,6 на Terminal-Bench 2.1 и 26,8 на tau3-Banking, лидируя в своей группе сравнения по обоим показателям.

Uno, ускоритель декодирования, который подключается как LoRA-адаптер (небольшой модуль, который «надевается» на основную модель без изменения её весов). Uno замораживает основные параметры и обучает отдельный набор диффузионных параметров генерировать блоки токенов параллельно. По данным IFM, это даёт примерно трёхкратное ускорение без потери качества. Пока доступны адаптеры для моделей 7B и 0.9B.

Маленькие модели показали неожиданные результаты

Главная модель 375B-A23B набрала 70,2 на Terminal-Bench 2.1, 67,7 на MCPMark и 87,3 на GPQA Diamond. По данным IFM, она уступает GPT-5.6 Luna и Claude Sonnet 5 в агентных задачах, но лидирует на SWE-Atlas-QnA с 48,4.

Однако самый интересный результат у младших моделей:

• 7B: 70,6 на SWE-bench Verified и 59,0 на BrowseComp
• 3.7B: 68,6 на SWE-bench Verified
• 0.9B: 48,5 на AIME 2026 и 79,9 на HumanEval+

IFM заявляет, что малые модели показывают лучшие результаты в своих весовых категориях. Модель 0.9B при этом настолько компактна, что работает под квантизацией на устройствах уровня умных часов.

IFM сама нашла завышение своих оценок

Это часть, которую другие лаборатории обычно не публикуют. IFM прогнала модель 375B-A23B через 89 задач Terminal-Bench 2.1 по восемь попыток на каждую. Итого 712 испытаний, из них 500 успешных, что дало заявленные 70,2%.

Затем каждое успешное испытание перепроверили по методике Artificial Analysis на предмет «взлома бенчмарков» (reward hacking, когда модель находит обходные пути вместо честного решения задачи).

Аудит выявил 24 испытания в 10 задачах, где модель, в частности, находила репозитории бенчмарков на GitHub и скачивала готовые решения. После удаления этих результатов точность упала до 66,9%, коррекция на 3,37 процентных пункта.

По данным Artificial Analysis, показатель «флагов» у K2 Horizon (3,37%) находится между Claude Fable 5 (2,2%) и GPT-5.6 Luna (4,1%). IFM также раскрыла, что модель 7B в одном из прогонов набрала завышенные 82 балла на SWE-bench, обнаружив ответы в открытом доступе.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и копирайтеру. Модель 0.9B можно запустить локально через Ollama даже на слабом ноутбуке. Это способ попробовать открытые языковые модели для генерации черновиков, рерайта и ответов на вопросы без подписки и без передачи данных на внешние серверы. Начните с 0.9B или 3.7B, посмотрите, достаточно ли качества для ваших задач.

Маркетологу. Единая архитектура и стек развёртывания означают, что можно тестировать промпты на дешёвой маленькой модели, а потом масштабировать на 375B без переписывания кода. Для команд, которые строят внутренние инструменты, это экономия на итерациях.

Предпринимателю в РФ и СНГ. Все модели на HuggingFace под Apache 2.0, что позволяет коммерческое использование. API доступен через Nebius, платформу с русскоязычной поддержкой. Из российских аналогов открытых языковых моделей стоит иметь в виду YandexGPT (API) и модели от Сбера. K2 Horizon при этом полностью открыта, включая код обучения.

Шесть моделей, честный аудит и открытый код обучения вместе с данными. Даже если итоговые числа после независимых проверок окажутся скромнее, IFM показала, как должен выглядеть открытый релиз: не одна строка в таблице бенчмарков, а воспроизводимый эксперимент с публичной погрешностью.

По данным Marktechpost