Бенчмарки нейросетей из реальных сессий: модель в 37 раз дешевле лидера дала тот же балл

Тематические лидерборды полезны как стартовая точка, но они отвечают на чужой вопрос. Artificial Analysis Intelligence Index, один из популярных рейтингов, оценивает модели по олимпиадной математике и научным знаниям. Если ваша ежедневная работа выглядит иначе, рейтинг подберёт не ту модель. Автор исходного эксперимента доказал это цифрами: тройка лидеров публичного рейтинга на его реальных задачах показала статистическую ничью, а победил по соотношению «качество, скорость, цена» кандидат из нижней части таблицы. Ниже разбираю, как повторить такой же личный бенчмарк нейросетей на своём материале.

Что понадобится?

• Два месяца (или хотя бы две недели) сохранённых сессий с любой нейросетью: чаты, транскрипты, экспортированные диалоги
• Доступ к API тестируемых моделей: облачные (OpenAI, Google, провайдеры открытых моделей) или локальные через vLLM либо llama.cpp
• Python 3.10+ и библиотека openai (все кандидаты общаются через один и тот же OpenAI-совместимый формат)
• Три модели-судьи для оценки открытых ответов (в эксперименте использовались Gemini, GPT-5.1, Opus 4.8, подойдут любые три сильные закрытые модели)
• Свободный вечер на сбор профиля и ещё один на прогон

Как собрать личный бенчмарк за пять шагов?

1. Соберите профиль работы. Выгрузите историю сессий и посчитайте, на что уходит время. В исходном эксперименте из 75 сессий и 23 813 вызовов инструментов выяснилось: 45% работы это документы в формате Markdown (стратегии, спецификации, сводки), 51% вызовов инструментов это Bash-команды вроде git, grep, find, а не написание кода. Ваш профиль почти наверняка окажется не тем, что вы думали.

2. Составьте 50 заданий, отражающих ваш профиль. Вес каждой категории должен совпадать с долей в реальной работе. Пример весов из эксперимента:

3. Стратегический синтез: 25%
4. Архитектурные решения: 20%
5. Документация в рабочем формате: 20%
6. Дистилляция (сжатие) исследований: 12%
7. Подготовка к сделкам: 8%
8. Код и инфраструктура: 15%

Каждое задание состоит из промпта и грейдера (набора критериев для оценки).

1. Настройте двуслойную оценку. Для задач с объективным ответом (код запустился? правильный вызов инструмента? есть цитата на источник?) используйте автоматическую проверку, «золотой стандарт». Для открытых задач (стратегия, документация) запустите ансамбль из трёх моделей-судей. Ансамбль это три независимые оценки, которые усредняются, чтобы убрать шум одного судьи. Вот как выглядит вызов ансамбля на Python:

def judge_call(prompt):
    outs = []
    for jk, jm, jc in jclients:  # три судьи
        r = jc.chat.completions.create(
            model=jm["slug"],
            messages=[{"role":"user","content":prompt}],
            temperature=0
        ).choices[0].message.content
        outs.append((jk, r))
    return outs  # три оценки → усреднение

1. Прогоните всех кандидатов через единый раннер. Обёртка принимает любой OpenAI-совместимый эндпоинт (облачный API, локальный vLLM или llama.cpp) и прогоняет задания последовательно. Записывайте не только баллы, но и телеметрию: TTFT (time to first token, время до первого токена, сколько модель «думает» перед ответом) и количество reasoning-токенов (токенов, потраченных на внутренние рассуждения).

2. Сравните не только баллы, но и скорость с ценой. Это ключевой шаг, который публичные бенчмарки нейросетей полностью игнорируют.

Скорость и цена важнее десятых долей балла

В эксперименте тройка лидеров по баллам уложилась в разницу 0,04, статистическая ничья. А вот что ничьёй не было:

• GLM-5.2 (744 миллиарда параметров, открытые веса): 22,4 секунды до первого токена, 33 тысячи reasoning-токенов на задачу. Полминуты молчания перед каждым ответом.
• Gemma 4 dense 31B: 1,24 секунды до первого токена, ноль reasoning-токенов. В 37 раз дешевле GLM-5.2 на одну решённую задачу. Помещается на одну видеокарту.
• Qwen 3.6 35B-A3B (архитектура MoE, то есть «смесь экспертов», когда при каждом запросе работает только часть параметров): самая быстрая по пропускной способности (67 токенов в секунду), но самая многословная: 60 тысяч reasoning-токенов.

При одинаковом качестве стоимость и задержка отличаются в 10 и более раз. Для коротких плотных ответов по стратегии и архитектуре мгновенная дешёвая модель на практике побеждает гиганта, которого надо ждать.

Отдельное наблюдение из эксперимента: dense-версия (плотная, где работают все параметры) Gemma 4 31B обошла MoE-версию 26B-A4B с баллами 0,772 против 0,741. На малом масштабе и задачах-рассуждениях плотная архитектура пока сильнее.

Чего не вытащили «звёзды» рейтингов?

DeepSeek V4-Pro набрал 0,698. Kimi K2.6, со-лидер открытых моделей по публичному рейтингу, показал 0,663 и при этом оказался дороже всех. Ни одна из знаменитых крупных моделей не обошла дешёвую тройку на задачах конкретного пользователя.

Ведущая российская облачная модель, протестированная как базовая через официальный API без дополнительного поиска (RAG), заняла последнее место с баллом 0,477. Быстрая и лаконичная, но на этом узком наборе задач уступила открытым моделям, которые можно развернуть локально.

Что делать с этим прямо сейчас, по ролям

Автору на Дзене. Экспортируйте последние 20 диалогов с нейросетью и посчитайте, что вы реально просите: заголовки, рерайт, план статьи, SEO-ядро. Скорее всего окажется, что 80% задач укладываются в одну категорию. Протестируйте на ней две-три модели и сравните не «кто умнее вообще», а кто быстрее и точнее именно на вашем типичном промпте.

Маркетологу. Если вы платите за API дорогой модели, прогоните свои типовые задачи (генерация описаний, классификация лидов, саммари звонков) через дешёвую альтернативу. При одинаковом качестве экономия может составить десятки раз.

Предпринимателю в РФ. Открытые модели (Gemma 4, Qwen 3.6) разворачиваются локально на одной видеокарте и не зависят от зарубежных облаков. Из российских доступных инструментов, YandexGPT и GigaChat, стоит тестировать их тем же методом на своих задачах, а не полагаться на общие рейтинги.

Публичные рейтинги полезны ровно для одного: сузить список кандидатов. Финальный выбор делает только ваш собственный тест на ваших задачах, и, судя по этому эксперименту, победитель вас удивит.