Тест визуального мышления от Elorian: передовые модели ловятся на приманку, точность ниже 50%

Посевной раунд означает первые крупные деньги стартапа на старте, до серийных раундов. С этими средствами Elorian в апреле вышел из скрытого режима. Теперь компания показывает продукт и собственную линейку для его оценки.

Что произошло?

Elorian продвигает Glimpse как «новую категорию модели визуального мышления: систему, которая рассуждает о физическом мире по тому, что видит». Вместе с моделью компания выпустила тест (бенчмарк, то есть набор заданий для сравнения нейросетей) DecoyCount. Партнёр по нему, Mercor, работает с данными для ИИ.

Название переводится примерно как «подсчёт приманок». Тест проверяет, действительно ли модель считает объекты или подменяет счёт визуальными уловками. Пример приманки: отражение в зеркале или привычная упаковка, по которой хочется угадать число.

В статье, сопровождающей релиз, передовые модели (самые сильные универсальные нейросети крупных компаний) набрали меньше 50% точности. Результаты по данным, которые привёл Эндрю Дай, генеральный директор Elorian:

• GPT-6 Astra: 43,17%;
• Gemini-3.8-flash: 32,71%;
• Qwen3.8-max: 28,31%;
• Claude-Fable-5.1: 25,22%.

Самой Glimpse в статье нет. По словам Дая, во внутреннем тесте модель набрала 50,48% на 1660 заданиях. Это единственный результат выше 50% в этом сравнении.

Есть существенная оговорка. Glimpse прошла тест один раз и без агентной обвязки и вспомогательных инструментов. Модели из статьи усредняли по трём прогонам в их заявленных настройках.

Дай также заверил, что изображения и тексты теста не попадали в обучающие данные Glimpse и проверка на пересечение совпадений не нашла. Вывод самой статьи звучит так: «более сильное общее рассуждение само по себе не переходит в согласованное визуальное рассуждение».

Почему это важно для рынка?

Большинство тестов смотрят только на итоговую цифру. Дай объясняет, почему этого мало.

Если человек видит яблоко перед зеркалом, он понимает, что яблоко одно и оно отражается. Модель же может вообще не заметить яблоко, это ошибка зрения, или посчитать яблоко и отражение как два, это ошибка рассуждения. Большинство тестов проверяют только итоговое число, поэтому обе ошибки выглядят одинаково. : Эндрю Дай, генеральный директор Elorian

Отсюда главный вопрос: могут ли передовые модели распознать приманку? Тест визуального мышления от Elorian пока отвечает «редко». Здесь есть деталь, которую стоит держать в голове: компания одновременно выпустила тест и модель, которая на нём лидирует, причём результат модели внутренний и в статье не опубликован.

Подход Elorian строится на «визуальном мышлении» из психологии. Человек, выбирая диван, мысленно ставит его в гостиную. Пересчитывая людей за столом, он мысленно вычёркивает их по одному. Компания учит модель делать так же: создавать и править изображения прямо по ходу рассуждения, вместе с текстом.

Дай отделяет свой продукт от моделей мира (систем, которые строят трёхмерную симуляцию среды, где можно перемещаться и действовать). Среди них он упоминает Atlas от World Labs, которую затем купила AMD, и Genie 4 от Google. Glimpse, по его словам, нужна для «непрямого действия»: помочь принять решение, например отклонить пользовательское видео за нарушение правил. «Для этого не нужна 3D-визуализация», говорит Дай.

Среди направлений компания называет робототехнику, инженерные задачи, оборону и проверку архитектурных проектов на соответствие строительным нормам. В двух тестах для роботов, WGO Bench и ERQA, Elorian заявляет результат на уровне передовых моделей или выше при заметно меньшей цене. Конкретных цен источник не приводит.

Дай за плечами имеет долгую карьеру. В 2015 году в Google он вместе с Куоком Ле показал раннюю версию подхода «предобучение, затем дообучение» (обучение модели на примерах под узкую задачу). Потом он работал в Google DeepMind над PaLM 2 и Gemini и ушёл в этом году, чтобы основать Elorian.

Что это значит для вас?

Автору Дзена. Не доверяйте ИИ подсчёт на картинках: сколько людей на фото, сколько товаров на полке, сколько пунктов на скриншоте. Если цифра попадает в текст, пересчитайте сами. Ошибка в одной детали подрывает доверие ко всему материалу.

Маркетологу. Автоматическая проверка креативов, карточек товаров и пользовательских видео нейросетью пока ненадёжна там, где важны количество и отражения. Оставьте человека на финальной проверке, особенно в модерации.

Предпринимателю в РФ и СНГ. Glimpse пока не стоит закладывать в планы: о доступе источник не сообщает. Проверьте свою задачу на доступных ассистентах, например GigaChat или YandexGPT: дайте десяток своих фото с известным числом предметов и посмотрите, где модель ошибается.

Практический шаг на эту неделю простой: соберите 10 своих рабочих изображений с заранее известным ответом и прогоните их через нейросеть, которой пользуетесь. Через полчаса вы будете точно знать, где ей можно верить, а где нет.