Gemini 4 снова лидирует в 12 из 18 тестов: почему бенчмарки нейросетей не совпадают с реальностью

Блогер-аналитик Евгений Медоедов разобрал, как устроены анонсы Gemini за последний год, и обнаружил повторяющийся сценарий: сначала победная таблица, затем разочарование разработчиков, затем обещание исправить всё в следующей версии. Gemini 4 Argon пока идёт по тому же шаблону, причём разочарование на этот раз пришло в день релиза, от самих сотрудников Google.

Что именно считается бенчмарком?

Бенчмарк (benchmark) нейросети, это стандартный тест: модели дают набор задач, она решает, результат сравнивают с конкурентами. Примерно как ЕГЭ для нейросети. Набрала больше баллов, значит «умнее». Проблема в том, что лаборатория сама решает, какой «ЕГЭ» показать публике и кого поставить рядом.

Галлюцинация (hallucination), это когда модель не знает ответа, но уверенно выдумывает его. Gemini 3 Pro осенью 2025 года галлюцинировала в 88 случаях из 100.

Как Google выбирает, что показать?

Автор разбора выделяет пять приёмов, которыми Google формирует победную таблицу, ни разу не соврав в цифрах.

• Выбрать строки. Argon уступает Claude Opus 5.5 и GPT-6 Astra в программировании на 9 и 11 пунктов соответственно. В тексте анонса об этом ни слова, хотя именно из-за слабого кода отменили Gemini 3.5 Pro.
• Выбрать соперников. Claude Sonnet 5.5 вышел за два дня до анонса Argon и в таблицу не попал. В программировании Sonnet обходит Argon.
• Выбрать рейтинг. В независимом индексе Artificial Analysis Argon делит третье место. В Vals Index он первый, но с отрывом в пределах погрешности. В анонс попадает тот рейтинг, где цифра красивее.
• Выбрать единицу цены. За токен (token, минимальная единица текста, которую обрабатывает модель) Argon в 2,5 раза дешевле GPT-6 Astra. Но токенов на одну задачу он тратит в 2,3 раза больше, и итоговая стоимость задачи выходит дороже. Дешевле Argon только по промо-тарифу, срок которого Google не назвала.
• Выбрать рекорд. Миллион токенов в одном ответе Google называет лучшим лимитом в индустрии. Зачем столько в обычной работе, компания не объяснила.

Разочарование пришло в день релиза

Обычно второй акт, когда разработчики обнаруживают разрыв между таблицей и реальностью, наступает через пару недель. С Argon он начался в день анонса. По данным Bloomberg, собственные сотрудники Google считают, что модель слабо пишет код и слабо делает фронтенд (front-end, визуальная часть сайтов и приложений). Двое собеседников агентства заявили, что модель натаскали на тесты. Google это отрицает.

Публичные замеры подтверждают разрыв. Когда приложения Argon проверяет робот (автоматический тест: нажимаются ли кнопки, работают ли формы), модель вторая из 106. Когда те же сайты сравнивают живые люди в WebDev Arena, она восьмая. Робот проверяет функциональность, человек выбирает, каким сайтом хочет пользоваться.

При этом списывать Argon со счетов рано. В тесте DeepSWE модель первая, в Text Arena тоже, а доля галлюцинаций упала с 88% до 15%. Это реальный прогресс.

Бенчмарки нейросетей как жанр теряют смысл?

Проблема шире одного Google. Автор выделяет три причины, почему победа в бенчмарках нейросетей значит всё меньше.

• Тест стал целью. Когда первое место попадает в пресс-релиз, лаборатории начинают учить модель сдавать именно этот тест. Gemini 3 Pro и 3.1 Pro выиграли таблицы и проиграли реальную работу.
• Тестов слишком много. Из десятков тестов любая сильная модель соберёт набор побед. Argon одновременно первый в Vals, третий у Artificial Analysis и восьмой в WebDev Arena. Какое место попадёт в анонс, решает маркетинг.
• Лидеры упёрлись в потолок. На олимпиадных задачах по программированию у Argon и GPT-6 Astra по 100%. Тесты «выгорают» так быстро, что Vals с мая пять раз меняли состав своего индекса.

Попробовать Argon пока нельзя

Доступ к модели есть только у специалистов по кибербезопасности из программы Fairwind. Когда Argon откроют остальным, Google не сообщила. Всё, что известно о модели, это тесты, которые выбрала сама Google, независимые замеры и слова анонимных сотрудников. Ни один разработчик пока не провёл с ней хотя бы неделю.

Что это значит для вас?

Три вопроса из разбора работают как фильтр для любого анонса нейросети, включая российские сервисы.

Авторам Дзена и копирайтерам. Когда YandexGPT или GigaChat публикуют таблицу с победами, задайте те же три вопроса: где модель проигрывает и написано ли об этом в анонсе? Каких свежих конкурентов нет в сравнении? Сколько стоит решённая задача целиком, а не один токен? Это спасёт от выбора модели по маркетингу вместо реальной пользы.

Маркетологам. Бенчмарки нейросетей в карточке продукта или рекламе уже не аргумент для продвинутой аудитории. Если строите коммуникацию вокруг ИИ, показывайте результат на конкретной задаче клиента, а не место в рейтинге.

Предпринимателям в РФ и СНГ. Gemini 4 Argon пока недоступна даже на глобальном рынке. Для практических задач сейчас доступны Claude (через VPN или API), ChatGPT, а из российских сервисов YandexGPT и GigaChat. Выбирайте по пробному прогону на своих задачах, не по чужим таблицам.

Сценарий Gemini сломается, если через месяц после открытия доступа разработчики будут выбирать Argon для работы, а не для скриншотов. До тех пор каждая победная таблица, от Google, от OpenAI, от Яндекса, это приглашение задать три неудобных вопроса, а не повод менять подписку.

По данным Telegram-канал @emedoedov