ГигаЧат vs Алиса на мировых бенчмарках: отставание от GPT и Claude в 2–3 раза

Независимый исследователь потратил около двух недель на прогон четырёх международных бенчмарков по трём отечественным моделям: Алиса (чат на alice.yandex.ru с подпиской «Яндекс Плюс»), ГигаЧат Max и ГигаЧат Ultra (два тарифа Сбера). Тесты проводились на тех же наборах задач, которые используют западные лаборатории для оценки своих моделей. Результаты позволяют напрямую сопоставить отечественные решения с GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro и другими. Именно такого публичного сравнения «ГигаЧат vs Алиса» на одинаковых условиях до сих пор не было.

Как устроены тесты и почему им можно доверять?

Автор прогнал модели через четыре открытых международных набора задач. Каждый измеряет отдельный навык.

• Arena-Hard (750 заданий). Код, кейсы, длинные инструкции. Модели отвечают на одни и те же вопросы, потом независимый судья (в данном случае Grok 4.6) сравнивает ответы попарно и выбирает, чей «лист» лучше. Победа, поражение или ничья.

• WildBench (1024 задания). Имитация рабочего дня с ИИ-ассистентом: длинные диалоги, чек-листы, правки, уточнения. Судья ставит оценку от 1 до 10 за каждый ответ. Пятёрка означает «нормально, без блеска». WB-Score (специальная шкала, где пятёрка сдвинута в ноль) показывает, насколько модель выше или ниже этой средней планки.

• MultiChallenge. Многошаговый диалог, в середине которого пользователь меняет правила, просит учесть сказанное раньше, правит текст. Судья отвечает только «да» или «нет»: попал ли финальный ответ в критерий. Четыре оси оценки: память (не забыть факт из начала), инструкция (не соскочить с правила), редактирование (править текст, а не писать заново), согласованность (не противоречить себе).

• τ³ (тау-три). Модель сажают на место оператора колл-центра. У неё правила компании и кнопки в учебной CRM (система управления клиентами): найти клиента, поменять билет, провести возврат. Зачёт только если задача закрыта по правилам.

Алиса тестировалась через веб-интерфейс, как её видит обычный пользователь. ГигаЧат тестировался через API (программный интерфейс, через который приложения обращаются к модели напрямую). Если связь обрывалась и вопрос не дошёл, попытку повторяли. Если модель вернула пустоту или ошибку сервера, это считалось нулём.

Алиса для бизнеса («Алиса 360») не тестировалась, она вышла недавно.

Главные результаты: Ultra впереди, Алиса отстаёт втрое

Arena-Hard: сложные письменные задачи. ГигаЧат Max выиграл у Алисы 620 из 750 пар (83%). Ultra показал результат ещё выше. Алиса выигрывала в основном там, где соперник отказывался отвечать или ломал условие задачи. Порядок: Ultra, затем Max, затем Алиса.

WildBench: рабочий чат. Алиса в среднем чуть ниже оценки «нормально», Max чуть выше, Ultra увереннее держит длинный диалог. Разрыв небольшой, порядок тот же.

MultiChallenge: память и послушание. Здесь разрыв между моделями максимальный:

• ГигаЧат Ultra: 46% (каждый второй финальный ответ попал в критерий)
• Алиса: 15% (каждый седьмой)
• Для сравнения: Gemini 3.1 Pro Preview набрал 71,4%, GPT-5.4 набрал 69,2%, Claude Opus 4.7 набрал 58,6%

Ultra вдвое чаще Max закрывает условие в конце длинного диалога. Алиса чаще теряет правило по ходу разговора. На задачах вроде «перепиши версию» все три модели показали результат слабее, чем на запоминании фактов.

Отдельная деталь: в 90% случаев Алиса сообщала «сейчас повышенная нагрузка, поэтому я включаю модель попроще». Автор справедливо отмечает, что тест и есть тест: именно такой результат получает обычный пользователь.

Что делать с этими цифрами прямо сейчас?

Авторам Дзена и копирайтерам. Если вы используете Алису или ГигаЧат для длинных текстов с правками и уточнениями, имейте в виду: на задачах «помни, что я сказал три реплики назад» Алиса попадает в критерий только в 15% случаев. ГигаЧат Ultra справляется втрое лучше, но даже его 46% означают, что каждый второй длинный диалог потребует ручной правки. Для коротких задач (один промпт, один ответ) разрыв между моделями гораздо меньше.

Маркетологам. Данные показывают конкретный разрыв с мировыми моделями: лучший российский результат (46% на MultiChallenge) уступает GPT-5.4 (69,2%) и Gemini 3.1 Pro (71,4%). Если вы строите автоматизацию на отечественных моделях, закладывайте ручной контроль на длинных цепочках.

Предпринимателям в РФ. ГигаЧат Ultra доступен через API Сбера и показывает лучший результат среди протестированных отечественных моделей. Алиса доступна через «Яндекс Плюс». Обе модели работают без VPN и иностранных карт. Но для задач, где критична точность в многошаговых диалогах (поддержка клиентов, обработка заявок), разрыв с западными моделями пока существенный.

Исследование сделало видимым то, что многие чувствовали на практике: российские модели работают, но на длинных и сложных задачах проигрывают мировым лидерам в разы, а не в проценты. Для тех, кто строит продукты на отечественном ИИ, это не повод останавливаться, а конкретная карта, где именно нужно усилить проверку и ручной контроль.

По данным независимого бенчмарка