Claude Sonnet 5.5 обыграл старшую Opus в стратегии: дешёвая модель оказалась хитрее

Эксперимент провёл разработчик «Стратегикона», пошаговой онлайн-стратегии на гексагональной карте. С конца августа по начало октября 2026 года модели Claude играли друг против друга через MCP-сервер (Model Context Protocol, протокол, через который модель получает текстовые данные об игре и отдаёт команды, как если бы была обычным сетевым игроком). Каждая модель работала отдельным ИИ-агентом (автономной программой, которая сама принимает решения) в среде Claude Code. Тумана войны не было, поле открыто всем, а дипломатические обещания ничем не обеспечены: врать о планах прямо разрешено правилами.

Что понадобится

• Доступ к API Anthropic с моделями Claude Sonnet 5.5, Opus 5.5 или Fable 5.1 (на момент эксперимента все три доступны через API Anthropic)
• Claude Code для запуска каждой модели как отдельного агента
• MCP-сервер, который транслирует игровые действия в текстовый формат для модели и обратно
• Пошаговая игра с открытым полем и дипломатией, в данном случае «Стратегикон» (13 раундов, три фазы в каждом: снабжение, строительство, война)
• Журнал мыслей: перед завершением каждого хода агент обязан записать комментарий, что делает и зачем, соперники журнал не видят
• Время: одна партия занимает 13 раундов, каждый состоит из трёх фаз

Как воспроизвести эксперимент?

1. Настройте MCP-сервер так, чтобы игровой сервер воспринимал его как обычного сетевого игрока, а модель получала текстовый снимок партии и набор доступных действий (те же, что у человека в интерфейсе).

2. Запустите каждую модель отдельным агентом в Claude Code. У каждого агента должна быть своя «персона»: воспоминания о прошлых партиях, выводы о стратегии и о соперниках.

3. Включите обязательный журнал мыслей. Перед завершением каждого хода агент записывает короткий комментарий о своих действиях и мотивации. Это ключевой источник данных для анализа.

4. Проведите партию на карте с явным стратегическим центром. В описанном эксперименте использовалась карта «Три холма» с великими руинами в центре, дающими 4 очка за раунд (8 в трёх последних раундах). Центр охраняет нейтральный отряд.

5. После партии прочитайте журналы рядом с чатом дипломатии. Именно разница между тем, что агент обещал в чате, и тем, что записал в журнал, показывает глубину стратегического планирования.

Что именно произошло в партии?

Партия от 1 октября: Claude Sonnet 5.5 против Opus 5.5 и Fable 5.1 на карте «Три холма». Все трое договорились о перемирии до конца шестого раунда, а центр карты должен был достаться тому, кто убьёт нейтрального стража.

Sonnet с первого хода купил политику, позволяющую нанимать тяжёлую пехоту сразу третьего размера, и в журнале записал дебютный план, найденный ещё в прошлой партии. Это принципиальный момент: модель применила опыт из предыдущих игр, а не играла с нуля.

Sonnet захватил центр карты раньше соперников, а затем ударил по городам лидера в том же раунде, в котором пообещал ему мир. Итоговый счёт: Sonnet 5.5 набрал 197 очков, Opus 5.5 получил 151, Fable 5.1 финишировал с 31 очком.

Отдельная деталь из партии вчетвером: Haiku 4.5 (самая маленькая модель прошлого поколения) перестал планировать на шестом раунде из тринадцати и закончил с нулём очков.

Почему бенчмарки не предсказали результат?

По данным автора эксперимента на 5 октября 2026 года, независимые рейтинги расходились. В LMArena (где ответы моделей вслепую сравнивают люди) и в индексе Artificial Analysis (с упором на агентные задачи) Haiku стабильно стоит внизу, но позиция Sonnet относительно старших моделей менялась от рейтинга к рейтингу.

В Kaggle Game Arena, где модели играют друг с другом в шахматы, го, покер и торг, моделей 5.5 на момент эксперимента ещё не было. Из прежних версий Opus 5 был первым, Fable 5.1 третьим, а Sonnet 5 занимал пятнадцатое место. Перед партией расклад выглядел так: два фаворита и Sonnet, чья прошлая версия в играх была заметно слабее.

Расстановка сил в «Стратегиконе» оказалась ближе к агентным бенчмаркам, чем к текстовым рейтингам и цене. Скачок от Sonnet 5 к Claude Sonnet 5.5 виден и в игре, и в публичных замерах.

Что это значит для вас?

Разработчикам ИИ-агентов. Если вы строите агента для задач с дипломатией, переговорами или многошаговым планированием, протестируйте Claude Sonnet 5.5 до того, как платить за старшую модель. В описанном эксперименте дешёвая модель обыграла дорогую именно в стратегическом обмане и захвате инициативы.

Авторам Дзена и контент-маркетологам. Когда вы подбираете модель для цепочки задач (спланировать серию публикаций, выбрать момент для выхода материала, адаптировать подачу под разные аудитории), это тоже многошаговая стратегия. Дорогая модель не автоматически лучше для таких задач.

Предпринимателям в РФ и СНГ. Доступ к Claude через API Anthropic из России затруднён, но модели Claude доступны через ряд прокси-сервисов. Из российских аналогов для агентных задач можно пробовать YandexGPT и GigaChat, хотя прямых сравнений в подобных стратегических тестах для них пока нет.

Вывод из эксперимента простой и практичный: прежде чем платить за старшую модель, проверьте младшую на своей реальной задаче, особенно если эта задача требует не одного ответа, а цепочки решений с учётом чужих действий.