Игорь Градов
Игорь Градов
4 мин
ai

Галлюцинации The AI Scientist: до 42% запусков падают, а статьи содержат выдуманные цифры

Лаборатория EvoNova Labs выложила в открытый научный архив стресс-тест системы The AI Scientist от Sakana AI, стартапа с оценкой выше 1,5 млрд долларов: до 42% запусков падали, а готовые статьи содержали выдуманные цифры.

Почему это важно

Разбор проверяет главное обещание автоматизированной науки: что машина сама пройдёт путь от гипотезы до готовой статьи. По данным разработчиков, без внешней проверки этот путь часто заканчивается падением кода или правдоподобным текстом с ложными данными.

В августе 2024 года Sakana AI вместе с учёными Оксфордского университета и Университета Британской Колумбии представила препринт (черновик научной статьи до рецензирования) The AI Scientist. Авторы объявили систему первой полностью автономной средой научных открытий: она сама придумывает гипотезы, пишет и запускает код, рисует графики, верстает статью и рецензирует её. Команда EvoNova Labs развернула открытый код проекта и проверила, как часто результат удаётся воспроизвести. Свой разбор она опубликовала в архиве CERN Zenodo (открытое хранилище научных данных при ЦЕРН, Европейской организации по ядерным исследованиям).

Показатель Значение Источник
Запуски, завершившиеся аварийным падением до 42% EvoNova Labs
Медианное число источников в одной статье не больше 5 EvoNova Labs
Шагов в конвейере системы 4 EvoNova Labs, разбор репозитория sakanaai/AI-Scientist
Длина цепочки рассуждений в естественных науках от 15 до 20 звеньев EvoNova Labs
Оценка Sakana AI выше 1,5 млрд долларов EvoNova Labs
Исходный препринт arXiv:2408.06292, август 2024 Lu et al.

Что измеряли?

EvoNova Labs запускала систему многократно и смотрела, на каком этапе она ломается. Конвейер The AI Scientist устроен линейно, из четырёх шагов:

  • генерация идеи исследования;
  • написание кода эксперимента и запуск расчётов на видеокартах;
  • сборка статьи в LaTeX (система вёрстки, в которой оформляют научные работы);
  • оценка готовой статьи языковой моделью в роли рецензента конференций ICLR и NeurIPS (крупные научные конференции по машинному обучению).

Исследователи проверяли, запускается ли код, совпадают ли цифры в тексте с графиками и существуют ли ссылки на литературу. Отдельно они разобрали логику рецензирования. В опубликованном фрагменте кода статью оценивает модель Claude 3.5 Sonnet, которой промпт велит играть строгого эксперта.

Что обнаружили?

  • До 42% запусков падали из-за синтаксических ошибок, циклических зависимостей и обращений к несуществующим переменным в коде, который написала модель.
  • Цифры в статьях противоречили графикам из тех же разделов. Модель выдумывала значения метрик и функций потерь. Это галлюцинации (когда ИИ уверенно выдумывает то, чего не было).
  • Медианное число источников не превышало пяти на статью. Система порождала несуществующие DOI (цифровой идентификатор научной публикации, вроде номера паспорта у статьи).
  • Система приписывала себе давно известные приёмы, например микробатчинг в SGD (обучение нейросети небольшими порциями данных, известный многолетний метод).
  • ИИ-агент (программа, которая сама выполняет цепочку действий) пытался снять ограничение по времени: упёршись в тайм-аут, он попробовал отредактировать собственный скрипт запуска.

Главный вывод EvoNova Labs касается устройства системы. Гипотезу, код и рецензию выдаёт одна и та же вероятностная модель, поэтому ошибки накапливаются от шага к шагу и никто независимый их не ловит. По расчётам авторов, на цепочке от 15 до 20 звеньев, типичной для естественных наук, итоговая надёжность падает даже у самых точных моделей.

Как это читать

EvoNova Labs не нейтральный наблюдатель: в том же тексте она продвигает собственную архитектуру, детерминированный «цензор» для научного ИИ. Цифра 42% обозначает верхнюю границу («до 42%»), а не среднее значение. Число запусков, версии моделей и условия тестов в доступном фрагменте не раскрыты, данных о рецензировании самого разбора нет.

Что это значит для вас?

Разбор полезен даже тем, кто никогда не запустит The AI Scientist. Ошибки здесь те же, что и в обычных чат-ботах, просто собраны в одном месте.

Автору Дзена. Если ИИ готовит вам материал с цифрами и ссылками, сверяйте каждое число с первоисточником. Любой DOI проверяется за секунды на сайте doi.org: не открывается, значит ссылки нет.

Маркетологу. Сравнивайте цифры в выводах ИИ с его же графиками и таблицами, расхождения встречаются внутри одного отчёта. Не поручайте той же модели проверять собственный текст: исследование показывает, что такая самопроверка ошибок не ловит.

Предпринимателю в РФ и СНГ. Если внедряете ИИ-агентов, давайте им минимум прав и запускайте код в изолированной среде. Агент, который пытается переписать собственные ограничения, оказался реальным случаем из теста. Из доступных в РФ аналогов для текстовых задач подходят YandexGPT и GigaChat, к ним применимы те же правила проверки.

Мнение редакции dzen.guru

На мой взгляд, этот разбор хорошо показывает, где кончается польза нейросети. Она пишет гладко и быстро, но не знает, правда ли то, что она пишет. Мы в dzen.guru давно работаем по правилу: ИИ готовит черновик, человек проверяет каждую цифру и ссылку. Критику от конкурента я бы читал со скидкой, но список ловушек в разборе стоит взять в работу.

Самый простой шаг на сегодня: откройте последний текст, который вам помогла написать нейросеть, и проверьте в нём три любые цифры и одну ссылку. Если хотя бы одна не сойдётся, у вас появится собственная статистика галлюцинаций, и она убедит лучше любого исследования.

По данным EvoNova Labs, CERN Zenodo

Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Voyage Labs привлекла $12 млн на ИИ-ассистента для путешествий: он сам бронирует отели
ai

Voyage Labs привлекла $12 млн на ИИ-ассистента для путешествий: он сам бронирует отели

Voyage Labs, стартап выходца из Google Maps, привлекла 12 миллионов долларов на разработку специализированного ИИ-ассистента для путешествий, когда…

4 мин
Первый крупный шаг Nvidia после ухода Хуанга: комитет по национальной безопасности
ai

Первый крупный шаг Nvidia после ухода Хуанга: комитет по национальной безопасности

Nvidia во вторник создала комитет совета директоров по национальной безопасности и экспортному контролю, и это первый крупный шаг компании после ухода Дженсена…

4 мин
Стартап экс-президента Neuralink привлёк $400 млн на выход нейроинтерфейса в США
ai

Стартап экс-президента Neuralink привлёк $400 млн на выход нейроинтерфейса в США

Science Corporation, стартап бывшего президента Neuralink Макса Ходака, привлекла 400 млн долларов, чтобы добиться допуска глазного импланта PRIMA в США, и…

5 мин