7 тестов интеллекта ИИ от MIT: где даже лучшие модели проваливаются

Издание MIT Technology Review собрало семь категорий задач, где нейросети ошибаются, несмотря на стремительный прогресс. Головоломки и игры сопровождают разработку ИИ с 1959 года, когда учёный IBM Артур Сэмюэл описал алгоритм, научившийся играть в шашки. С тех пор шахматы и го стали классическими полигонами. Но именно ошибки на простых загадках обнажают разницу между машинным и человеческим мышлением.

Где нейросети проваливаются?

• Пространственное мышление. Задачи на мысленное вращение трёхмерных объектов (те самые, что встречаются в IQ-тестах) остаются для языковых моделей практически нерешаемыми. Даже модели, умеющие анализировать изображения, не могут «покрутить» предмет в голове так, как это делает архитектор или инженер.

• Ловушка памяти. Модели запоминают гигантский объём фактов из обучающих данных (training data, корпус текстов, на котором модель училась). Когда задача похожа на знакомую, но содержит мелкое отличие, модель выдаёт заученный ответ, не заметив подвоха. Исследователи из Google и Иллинойсского университета в 2024 году показали это на вариациях классической головоломки «Рыцари и лжецы».

• Простые задачи с подвохом (SimpleBench). Вопросы вроде «сколько целых кубиков льда останется на сковороде, где жарится яичница?» ставят в тупик лучшие модели. Человек сразу понимает: лёд растает. Модель пытается считать.

• Визуальное и абстрактное мышление (ARC-AGI). Двумерные головоломки, где нужно вывести правило из примеров, остаются слабым местом. По данным MIT Technology Review, исследования показывают, что даже при верном ответе модели используют громоздкие и негенерализуемые правила, тогда как люди опираются на простые визуальные концепции.

• Скорость прогресса неравномерна. Учёные из Колумбийского университета зафиксировали: в конце 2024 года лучшие модели решали лишь 18% головоломок NYT Connections, а к началу 2025 года некоторые модели справлялись почти безошибочно. Но в пространственных и визуальных задачах такого рывка нет.

Как попробовать самому?

1. Откройте материал MIT Technology Review по ссылке в конце новости. Часть заданий интерактивна: можно решать прямо в браузере.
2. Пройдите задачи на пространственное вращение и SimpleBench. Именно они показывают самый заметный разрыв между вами и нейросетью.
3. Задайте те же загадки вашей рабочей нейросети (ChatGPT, Claude, Gemini или любой доступной) и сравните ответы. Обратите внимание: модель почти наверняка «не заметит», что лёд на сковороде тает.

Тесты интеллекта ИИ на русскоязычных моделях: что показывает практика?

Для аудитории в России и СНГ полезно понимать, что YandexGPT и GigaChat работают на тех же архитектурных принципах, что и зарубежные модели. Это значит, что описанные слабости, память вместо рассуждения, провал на визуальных задачах и ловушки «знакомой» головоломки, воспроизводятся и на русскоязычных сервисах. Попробуйте задать любой из примеров (скажем, задачу про кубики льда на сковороде) в YandexGPT или GigaChat и проверьте сами.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена. Прежде чем доверять нейросети проверку фактов или генерацию логических аргументов, прогоните контрольную задачу с подвохом. Если модель не замечает, что лёд тает, она может не заметить и логическую дыру в вашем тексте.

Маркетологам. Визуальные задачи и пространственное мышление пока вне зоны надёжности ИИ. Если вы используете мультимодальные (работающие с текстом и изображениями одновременно) модели для анализа креативов или макетов, перепроверяйте выводы вручную.

Предпринимателям. Галлюцинации (когда модель уверенно выдумывает факты) и ловушки памяти, это не теоретический риск, а повседневная реальность. Любой бизнес-процесс на базе ИИ нуждается в человеческом контроле на выходе.

Частые вопросы

Значит ли это, что ИИ не умеет думать?

Нет, но «думать» и «вспоминать» для модели не одно и то же. Тесты интеллекта ИИ показывают, что на задачах, требующих рассуждения (а не извлечения запомненного факта), модели пока сильно уступают людям. Особенно если задача визуальная или содержит мелкий подвох.

Можно ли доверять нейросети в работе после этих результатов?

Можно, но с оговоркой. Модели сильны в обработке больших объёмов текста, суммировании и черновых вариантах. Слабы в логике с подвохом, пространственном мышлении и задачах, где ответ противоречит «типичному» паттерну из обучающих данных. Контроль на выходе обязателен.

Где взять такие тесты на русском?

Готового русскоязычного аналога подборки MIT Technology Review пока нет. Но задачи «Рыцари и лжецы», SimpleBench и ARC-AGI легко формулируются по-русски. Переведите пример про кубики льда и задайте вашей модели: русский язык не меняет суть провала.