48 ИИ-агентов «открыли» известное поселение майя: что такое ИИ-агент и где он ошибается

О случае подробно рассказало издание The Verge. Миотти описал проект в своём блоге как личный, сделанный без вычислительных мощностей и ресурсов Google. Агенты справились с разбором данных, но не смогли сверить находку с уже опубликованными работами. Археологи в соцсетях раскритиковали проект за распространение недостоверной информации.

Что измеряли?

Сначала о том, что такое ИИ-агент. Это программа на основе нейросети, которой дают задачу целиком, а она сама разбивает её на шаги и выполняет их, как стажёр с подробной инструкцией. Миотти запустил сразу 48 таких агентов.

Им поручили просмотреть данные лидара (лазерной съёмки местности, которая даёт подробные трёхмерные изображения рельефа, в том числе под лесом). Источником стали открытые лидарные данные NASA, американского космического агентства. Агенты искали признаки неописанных археологических памятников.

Идея пришла Миотти в поездке по Перу: он задумался, что сделали бы исследователи прошлого с современными технологиями. Перу, по его словам, «плохо покрыто» открытыми лидарными данными, поэтому он переключился на регион майя.

Затем Миотти написал в INAH, Национальный институт антропологии и истории Мексики. Он хотел узнать, известен ли этот объект, в том числе по неопубликованным исследованиям. Письма на испанский тоже переводили агенты.

Что обнаружили?

• Агенты отметили множество перспективных точек, среди них, по словам Миотти, «одну крупную деревню», которой нет в существующих реестрах.
• INAH ответил, что зарегистрированного памятника в этом месте у него нет. От идеи до официального ответа прошло меньше 72 часов.
• Поселение уже описали в научном журнале больше года назад. Археологи сразу указали на это в соцсетях.
• Агенты нашли холмы в данных, но не нашли статью о них. Сбой случился на этапе проверки, а не на этапе распознавания.

Профессор археологии Университета Алабамы в Бирмингеме Сара Паркак в серии постов в соцсети Bluesky напомнила: если чего-то нет в государственной базе, это ещё не значит, что объект неизвестен или не нанесён на карту.

Вот зачем нам рецензирование. : Сара Паркак, профессор археологии Университета Алабамы в Бирмингеме

Рецензирование здесь означает проверку научной работы независимыми специалистами до публикации. Миотти признал ошибку и объяснил её.

Мои агенты и я это пропустили. Археологи справедливо не публикуют координаты памятников, поэтому проверка, известен ли объект, означает сравнение снимков с иллюстрациями в статьях, а не поиск по базе. Для агентов это гораздо сложнее. : Пьетро Миотти, исследователь Google

Он обновил пост и указал работу археологов. По его словам, к нему обращаются археологи и аспиранты, которые хотят применить этот способ к своим данным.

Просто заметить что-то мало что добавляет к нашим знаниям. : Элизабет Грэм, профессор Университетского колледжа Лондона

При этом Грэм признала, что Миотти неплохо выделил холмы в лидарных данных, а их интерпретация «бывает непростой». The Verge связывает этот случай с более широкой проблемой ИИ в науке и упоминает недавние результаты OpenAI в математике. Инструменты выдают сильные результаты, но не всегда опираются на уже сделанную работу.

Что это значит для вас?

Эта история про любой текст, в котором ИИ-агент ищет и проверяет факты за вас.

Автору Дзена. Агент хорошо собирает и сортирует большой объём материала. Утверждение «такого раньше не было» он проверяет плохо. Прежде чем писать «впервые» или «открыли», ищите источник сами, особенно в чужой для вас области.

Маркетологу. Скорость агента не заменяет экспертизу. 72 часа от идеи до громкого поста обернулись публичной поправкой. Если отдаёте агенту исследование рынка, закладывайте время на проверку специалистом.

Предпринимателю из РФ и СНГ. Схема «агент разбирает массив данных, человек проверяет вывод» подходит и для отчётов, и для отзывов клиентов. Из доступных в России нейросетей для черновой сортировки можно использовать YandexGPT и GigaChat, но финальную сверку оставляйте за сотрудником, который знает предмет.

По данным The Verge