ИИ для написания научной статьи провалил тест на интуицию: лучшие модели осилили лишь 20% сложных задач

Команда из Оксфорда, Принстона, MIT, KAUST, Swiss AI Lab и Inria при участии Юргена Шмидхубера (одного из пионеров глубокого обучения) представила DiG-bench (Discovery in Games, «открытия в играх»). Это набор из 70 мини-игр, где и правила, и цель спрятаны от игрока: узнать их можно только через взаимодействие со средой. Бенчмарк опубликован на GitHub и сайте digbench.ai, а 21 игру можно попробовать самому. Источник: рассылка Import AI 469, автор Джек Кларк.

Что здесь на самом деле измеряли?

Представьте настольную игру, в которой вам не дали правила: ни карточки, ни инструкции. Вы нажимаете кнопки, двигаете фигуры и по реакции среды пытаетесь понять, что вообще происходит и как выиграть. Именно так устроены 70 мини-миров DiG-bench: каждый из них подчиняется собственным законам, но эти законы нигде не написаны.

Бенчмарк проверяет, умеет ли модель замечать закономерности в незнакомой среде, формулировать гипотезы и обновлять их по мере игры. По сути, это тест на «творческую интуицию», способность находить важное в новом, что критично для любого ИИ для написания научной статьи, где нужно не пересказывать известное, а обнаруживать неочевидное.

Все игры созданы вручную экспертами. Большинство из них остаются закрытыми, чтобы модели не могли обучиться на них заранее. Игры текстовые и достаточно короткие: большинство трейсов (записей хода игры) помещаются в контекстное окно (объём текста, который модель «видит» за один раз) современных моделей.

Что показали результаты?

• Opus 5 и Fable 5 с Claude Code лидируют в общем зачёте, следом идёт GPT-5.5.
• Tier 7 (самый сложный) покорился только двум моделям: Opus 5 и Fable 5 прошли 20% заданий. Люди при этом проходили те же задания полностью.
• Tier 6 частично решили три модели: Opus 5, GPT-5.5 и Kimi K3, но только с внешней обвязкой (harness), например Claude Code.
• GLM-5.2 и Gemini 3.1 Pro остановились на Tier 4: прошли отдельные уровни, но не поднялись выше.
• Ни одна модель не прошла весь бенчмарк целиком. Автор рассылки Джек Кларк прогнозирует, что паритет с человеком может быть достигнут к середине 2027 года.

Что это значит для вас?

Если вы автор на Дзене или копирайтер. DiG-bench показывает, где ИИ пока слаб: в ситуациях, где правила не заданы и нужно думать «с нуля». Когда вы просите нейросеть написать текст по знакомому шаблону, она справляется. Когда нужно найти нетривиальный угол для статьи или выявить неочевидную тенденцию в данных, модель всё ещё значительно уступает человеку. Ваш навык видеть то, чего нет в инструкции, пока остаётся конкурентным преимуществом.

Если вы маркетолог или предприниматель. Перед тем как доверять ИИ-агенту (программе, которая сама принимает решения и действует) стратегические задачи, полезно помнить: даже лучшие модели проваливают 80% задач на «открытие неизвестного». Автоматизировать рутину можно, но разведку новых рынков и нестандартные гипотезы пока лучше оставить людям.

Если вы работаете с российскими моделями. В тесте участвовали только зарубежные модели. Ни YandexGPT, ни GigaChat, ни другие отечественные системы не были протестированы на DiG-bench. Игры открыты и текстовые, то есть технически ничто не мешает прогнать через них любую модель с API. Для тех, кто оценивает, готовы ли российские LLM (большие языковые модели) к исследовательским задачам, это конкретный и воспроизводимый способ проверить.

Бенчмарк открыт, игры можно попробовать прямо в браузере, и это, пожалуй, лучший способ почувствовать на себе, что именно пока не даётся машине: попробуйте пройти Tier 5 и сравните свои ощущения с таблицей результатов.

По данным Import AI 469