Игорь Градов
Игорь Градов
5 мин
ai

Мышеловка, коробок и трубкозуб: мультимодальный ИИ совпал с людьми максимум в 41% случаев

Авторы исследования CogAlign выяснили, что модели Qwen3-VL совпадают с людьми в игре «Третий лишний» лишь в доле ответов от 37 до 41% при случайных 33,3%, и проверить это на своих картинках может каждый.

Мышеловка, коробок и трубкозуб: мультимодальный ИИ совпал с людьми максимум в 41% случаев
Почему это важно

Исследователи предлагают учить ИИ не только правильному ответу, но и тому, на что смотрит человек, когда выбирает. Для автора это повод проверять нейросеть по логике, которой она обосновывает ответ, а не по его гладкости.

Мультимодальные модели, то есть нейросети, которые понимают и текст, и картинки, неплохо сдают бенчмарки (стандартные экзамены для ИИ). Но умение отвечать на вопросы ещё не значит, что модель видит мир так же, как мы. Об этом работа Aligning MLLMs with the Latent Structure of Human Cognition («Выравнивание мультимодальных моделей со скрытой структурой человеческого мышления»), где MLLM означает мультимодальную большую языковую модель.

Возьмите мышеловку, спичечный коробок и трубкозуба. Человек за секунду называет лишним трубкозуба: два предмета сделаны руками, третий живой. Модель узнаёт все три объекта, но лишний может выбрать по совсем другому признаку.

Почему правильный ответ ещё не доказывает человеческую логику?

Подстройку модели под ожидания людей называют выравниванием (alignment). Обычно для этого используют RLHF, обучение с подкреплением на основе обратной связи от человека, или DPO, прямую оптимизацию предпочтений.

В RLHF люди сравнивают ответы модели и выбирают удачные, на этих оценках учат модель вознаграждения (отдельную нейросеть-оценщика), а она подстраивает основную. DPO обходится без посредника и учится сразу на парах из удачного и отклонённого ответа. Оба метода хорошо отучают чат-бота грубить и учат держать формат.

Авторы CogAlign обращают внимание на другое: совпадение итогового ответа с человеческим ничего не говорит о пути к нему. Модель могла заметить, что два предмета металлические, а могла зацепиться за контекст, в котором похожие картинки встречались в её обучающих данных (текстах и изображениях, на которых её учили). При этом авторы не утверждают, что RLHF и DPO вообще не учат рассуждать: они лишь не гарантируют, что модель усвоит человеческие основания выбора.

4,7 млн человеческих суждений свели к 66 признакам

В основе работы лежит проект THINGS, который изучает, как люди воспринимают и классифицируют предметы. В нём собрали 1854 понятия реальных объектов и предлагали участникам ту же игру: из трёх изображений выбрать наименее похожее. Получилось около 4,7 млн суждений.

Ответы обработал алгоритм SPoSE. Он раскладывает предметы по признакам, как товары по полкам с ярлыками. Мышеловка получает высокий балл по измерению «металлическое или искусственное», трубкозуб по измерению «животное». Всего вышло 66 измерений с понятным человеку смыслом:

  • ожидаемые: еда, животные, текстиль, электроника, транспорт, растения;
  • необычные: круглые предметы, пушистые и мягкие вещи, оружие и опасность, медицина;
  • спорные: стереотипно женственные и стереотипно мужественные признаки.

Это не 66 переключателей в мозге, а математическая модель, построенная по человеческим ответам. Фреймворк CogAlign, готовая схема обучения, использует её как набор критериев. Первый из трёх этапов обходится без нейросетей: всё делает модель восприятия. Дальше, судя по описанию, сухие числа превращаются в цепочки рассуждений. Подробностей остальных этапов в доступном нам материале нет.

Что понадобится для проверки?

  • Чат-бот, который принимает картинки. Из доступных в РФ аналогов это YandexGPT и GigaChat, только проверьте, работает ли ваша версия с изображениями.
  • От 10 до 20 троек картинок или слов из привычной жизни.
  • От двух до трёх знакомых, чтобы получить человеческие ответы.
  • Таблица или блокнот и около часа времени.

Как провести тест «Третий лишний» шаг за шагом?

  1. Соберите тройки на знакомом материале: «самовар, валенки, ёж», «пельмени, гвоздь, щука», «гармонь, утюг, кот».
  2. Попросите людей выбрать лишнее и коротко назвать причину. Запишите оба ответа.
  3. Задайте модели прямой вопрос, это первый промпт (запрос к нейросети).
  4. Во втором промпте попросите назвать признак, по которому она выбирала.
  5. В третьем дайте ей человеческие критерии и сравните, изменился ли выбор.
  6. Посчитайте совпадения. Если их около трети, модель фактически угадывает.
Промпт 1: Какой из трёх предметов на картинках лишний? Ответь одним словом.

Промпт 2: Какой предмет лишний и по какому признаку ты его выбрал? Назови признак одной фразой.

Промпт 3: Сравни предметы по признакам: живое или сделанное человеком, еда, металл, мягкое и пушистое, опасное. Какой предмет лишний и почему?
Как это применить

Ввели три фото: мышеловка, спичечный коробок, трубкозуб и промпт 2. Человеческий ответ: трубкозуб, потому что он живой. Если модель назовёт лишним коробок «как единственный предмет без металла», её логика внутренне честная, но не человеческая. Именно такие расхождения и ищет CogAlign. Ответы конкретных моделей зависят от версии, поэтому сравнивайте признак, а не только слово.

Как применить тест автору, маркетологу и предпринимателю?

Автору Дзена. Прогоните через тест картинки, которые нейросеть подбирает к вашим статьям. Если она группирует предметы не по вашему признаку, проверяйте её подборки иллюстраций вручную.

Маркетологу. Модель, которая сортирует товары или креативы по чужим основаниям, может разложить ассортимент нелогично для покупателя. Перед автоматизацией каталога проверьте её логику на десятке пар.

Предпринимателю в РФ и СНГ. CogAlign описан как исследование, готового сервиса из него нет. Тест «Третий лишний» на YandexGPT или GigaChat бесплатно покажет, насколько выбранной модели можно доверять сортировку и классификацию.

Частые ошибки
  • Засчитывать совпадение без причины. Правильное слово по неправильному признаку это удача, а не понимание.
  • Брать слишком мало троек. На трёх примерах случайность не отличить от логики.
  • Подсказывать ответ в промпте. Первый вопрос задавайте без намёков на критерии.
  • Использовать тройки с двумя честными ответами. Такие задачи проверяют вкус, а не логику.
Совет редакции dzen.guru

На мой взгляд, главная ценность этой работы для практика в простой мысли: спрашивайте у нейросети «почему», а не только «что». Я бы держал свои 20 троек как постоянный тест и прогонял по ним каждую новую модель перед тем, как доверить ей контент. Честная оговорка: 66 признаков описывают сравнение предметов, а не сложные рассуждения, и о качестве текстов тест скажет мало. Но модель, которая не видит разницы между трубкозубом и коробком так же, как вы, пусть сначала докажет это на ваших картинках.

Проверьте нейросеть на своих задачах

Подберите модель и промпты для контента на Дзене вместе с dzen.guru

Попробовать
Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Шесть гаджетов с ИИ для домашнего офиса: ручка и значок сами расшифровывают встречи
ai

Шесть гаджетов с ИИ для домашнего офиса: ручка и значок сами расшифровывают встречи

Шесть гаджетов с искусственным интеллектом для домашнего офиса, от ручки-диктофона до стола с датчиками, попали в подборку как раз к «Чёрной пятнице», когда…

5 мин
GTA 6 вышла после 13 лет разработки: игру делали почти 5000 человек, вчетверо больше GTA V
ai

GTA 6 вышла после 13 лет разработки: игру делали почти 5000 человек, вчетверо больше GTA V

Rockstar 19 ноября 2026 года выпускает GTA 6 на PS5 и Xbox Series X|S после тринадцати лет разработки, и авторам Дзена этот релиз даёт повод собрать трафик на…

5 мин
CTO Своего Банка объяснил, что такое вайб-кодинг, и предложил банкам 8 шагов внедрения
ai

CTO Своего Банка объяснил, что такое вайб-кодинг, и предложил банкам 8 шагов внедрения

Технический директор Своего Банка Максим Гречихо разделил вайб-кодинг на полезный инструмент и опасную иллюзию, пока эта тема остаётся одной из самых…

5 мин