Бенчмарки нейросетей врут: как проверить модель на своей задаче за 30 минут

Источник этой новости, аналитический разбор расходов десяти крупнейших IT-корпораций (Microsoft, Alphabet, Amazon, Meta, Apple, NVIDIA, Alibaba, Tencent, Baidu, ByteDance) за пять лет, показывает: доля бюджетов на поисковые инструменты растёт, а доля на обучение моделей сжимается. Для тех, кто работает с контентом или строит бизнес в России, это сигнал пересмотреть, на что опираться при выборе нейросети и куда направлять собственные усилия.

Что понадобится

• Доступ к любой нейросети с режимом поиска в интернете: ChatGPT, Perplexity, YandexGPT (бесплатных тарифов хватит)
• 30 минут на проверку одной модели по описанному ниже алгоритму
• Тема или запрос из вашей реальной рабочей практики, по которой вы сами знаете верный ответ
• Блокнот или таблица для фиксации результатов

Почему бенчмарки нейросетей мало говорят о реальном качестве?

Бенчмарки нейросетей, это стандартизированные тесты, на которых модели соревнуются друг с другом: математика, логика, кодирование, знание фактов. Компании публикуют результаты, а СМИ превращают их в заголовки вроде «новая модель разнесла конкурентов».

Проблема в том, что многие бенчмарки создаются не для получения полезных данных, а ради демонстрации преимуществ одних моделей перед другими. Косвенное подтверждение этому можно найти во втором разделе отчёта OECD Exploring Possible AI Trajectories Through 2030.

Для практика это означает простую вещь: модель может блестяще решать олимпиадные задачи, но при этом выдумывать факты, когда вы спрашиваете про актуальные события в вашей нише.

Куда на самом деле уходят деньги?

По расчётам на основе открытых отчётов десяти корпораций, в «нежелезной» части ИИ-бюджета (то есть если вычесть расходы на дата-центры и чипы) поисковые инструменты постепенно отбирают долю у обучения моделей:

• 2022 год: на каждый доллар, потраченный на тренинг (обучение модели на данных), приходилось 39 центов на поисковые инструменты
• 2026 год: это соотношение выросло до 52 центов

Прирост составил треть за пять лет. Центр тяжести смещается от самих моделей к инфраструктуре поиска: RAG (retrieval-augmented generation, технология, при которой модель сначала ищет релевантные данные во внешних источниках и только потом формирует ответ), краулинг (автоматический обход и сбор информации с сайтов), индексирование.

Корпорации вкладываются не в то, как ИИ обрабатывает информацию, а в то, что именно он обрабатывает.

Пошаговая инструкция: как самостоятельно проверить качество нейросети

Вместо того чтобы сравнивать бенчмарки нейросетей на сайтах с рейтингами, проверьте модель на своей реальной задаче. Вот конкретный алгоритм.

1. Выберите тему, в которой вы эксперт. Важно, чтобы вы сами знали правильный ответ и могли отличить галлюцинацию (когда нейросеть уверенно выдумывает то, чего не было) от факта.

2. Сформулируйте запрос, который требует свежих данных. Не «что такое контент-маркетинг», а «какие изменения в алгоритмах Дзена произошли за последний месяц».

3. Задайте модели поисковый промпт (инструкцию для нейросети) перед основным вопросом. Вот готовая формулировка:

Сначала определи круг достоверных профильных источников по моей теме,
затем собери в них актуальную и верифицированную информацию
на сегодняшнюю дату по моему запросу.
Выведи реальные ссылки на источники.
Если не нашёл информацию — ответь, что не нашёл.

1. Задайте тот же вопрос без поискового промпта. Просто введите вопрос как есть.

2. Сравните два ответа. Обратите внимание на три вещи: совпадают ли факты с реальностью, есть ли рабочие ссылки на источники, отличается ли свежесть данных.

3. Повторите для двух-трёх моделей. Используйте одну и ту же тему, чтобы сравнение было корректным.

4. Зафиксируйте результат в таблице: модель, наличие ссылок, точность фактов, свежесть данных. Это ваш личный бенчмарк, который говорит о качестве больше, чем любой публичный рейтинг.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Перед тем как доверить нейросети подготовку материала, прогоните её через описанный тест на своей теме. Связка «поисковый промпт + проверка ссылок» занимает пять минут и спасает от публикации устаревших данных, за которые Дзен снижает охваты.

Маркетологу. Не выбирайте модель по позиции в рейтинге. Проверьте, насколько хорошо она находит свежие данные по вашему рынку. Модель, которая отлично решает математику, может не знать ваш сегмент.

Предпринимателю в РФ. Обратите внимание на RAG-решения. Из доступных в России инструментов YandexGPT и GigaChat поддерживают поиск в интернете. Если строите внутренний продукт, инвестируйте не в выбор «лучшей модели», а в качество данных, которые вы ей подаёте: базы знаний, актуальные источники, структуру запросов.

Связка нескольких даже не самых мощных моделей с независимыми поисковыми источниками уже сейчас может выдавать более актуальный и проверяемый результат, чем одна флагманская модель. Попробуйте описанный алгоритм на своей теме сегодня, и бенчмарки нейросетей из маркетинговых таблиц превратятся для вас в понятный практический инструмент с конкретным ответом: подходит эта модель для вашей работы или нет.