Открытый трекер сравнил frontier models по 161 категории: как выбрать нейросеть по данным, а не по обзорам

Зачем это нужно и откуда данные?

До сих пор выбор модели для конкретной задачи сводился к чтению обзоров, личным пробам или доверию бенчмаркам, которые часто оторваны от практики. Проект Latent Space Frontier AEO Tracker подошёл иначе: исследователи задали каждой из семи моделей (с включённым поиском) шесть переформулировок одного и того же вопроса в 161 категории, от агентов для кода до подкастов об ИИ и даже до софта для расчёта зарплат.

Ответы извлекала модель Astra и оценивала их по проприетарной шкале AEO, которая учитывает первый выбор модели, альтернативные рекомендации, упоминания и даже «антирекомендации» (когда модель прямо советует не использовать продукт). Методология расширяет подход проекта AmplifyingAI и вдохновлена исследованием «What Claude Code Actually Chooses».

Что понадобится

• Доступ к трекеру Latent Space Frontier AEO (открыт на сайте проекта).
• Аккаунт хотя бы в одном чат-боте с поиском: ChatGPT, Claude, Grok или аналоги.
• 20 минут на первый проход по категориям и проверку результатов на своей задаче.
• Для российских пользователей: VPN, если доступ к зарубежным моделям ограничен, плюс аккаунт в YandexGPT или GigaChat для сравнения с локальными моделями по той же логике.

Пошаговая инструкция

1. Определите свою категорию задачи. Откройте трекер и найдите категорию, ближайшую к вашей работе. Для автора Дзена это может быть «AI writing assistants» или «content tools», для разработчика «coding agents», для маркетолога «SEO tools» или «analytics».

2. Посмотрите, какой продукт лидирует и в каких моделях. Трекер показывает, есть ли «универсальный лидер» (28 категорий из 161 имеют продукт, который выбирают все семь моделей единогласно) или это «близкий спор», где лидер зависит от модели.

3. Проверьте предвзятость модели. Исследование Latent Space зафиксировало системную предвзятость: Claude (модели Fable и Opus) чаще рекомендует Claude Code, ChatGPT (Sol и Astra) чаще советует Codex, Grok предпочитает Cursor, а Muse рекомендует Muse Code. Если вы спрашиваете модель «какой ИИ лучше», она может продвигать саму себя.

4. Сравните поколения моделей. Трекер фиксирует «перевороты» рекомендаций между поколениями одного разработчика (Sol к Astra у OpenAI, Opus к Fable у Anthropic). Это помогает увидеть, куда лаборатория движется в обучающих данных и приоритетах.

5. Оцените «уверенность» модели. По данным трекера, Astra (новое поколение OpenAI) использует медианно 5 источников на ответ против 9 у Sol и значительно реже меняет рекомендацию при перефразировании вопроса. Fable (Anthropic) использует медианно 15 источников против 11 у Opus. Чем стабильнее ответ при перефразировке, тем надёжнее рекомендация.

6. Повторите запрос на своей задаче в двух-трёх моделях.

Промпт-шаблон для проверки:

Я [роль: автор блога / маркетолог / разработчик].
Мне нужен инструмент для [задача].
Назови три лучших варианта, объясни выбор
и укажи, какой ты НЕ рекомендуешь и почему.

Задайте этот промпт в ChatGPT, Claude и, если доступно, в Grok. Сравните ответы между собой и с данными трекера.

1. Для российских моделей примените ту же логику вручную. Трекер пока не включает модели российских разработчиков, однако методология применима: задайте те же шесть переформулировок вопроса в YandexGPT и GigaChat, зафиксируйте стабильность ответов и сравните с результатами зарубежных frontier models.

Что с этого вам прямо сейчас?

Авторам Дзена. Перед выбором ИИ-помощника для текстов проверьте категорию «writing assistants» в трекере и повторите промпт из шага 6 в двух моделях. Вы за 20 минут получите обоснованный выбор вместо гадания.

Маркетологам. Трекер показывает, какие продукты ИИ-модели рекомендуют пользователям. Если ваш продукт или продукт клиента не попадает в топ рекомендаций, это сигнал: AEO становится реальным каналом, и стратегия оптимизации под ответы ИИ (а не только под поисковую выдачу) уже измерима.

Предпринимателям в РФ и СНГ. Методология Latent Space применима к любым моделям, включая YandexGPT и GigaChat. Прогоните те же промпты через российские модели и сравните стабильность и предвзятость. Это покажет, насколько локальные закрытые модели конкурируют с зарубежными frontier models по качеству рекомендаций в вашей нише.

Шесть перефразировок одного вопроса через две-три модели дадут вам за полчаса то, на что раньше уходили недели проб: понятный, проверенный ответ, какая нейросеть подходит именно для вашей работы, а какая просто рекламирует саму себя.