Альтман: OpenAI потратила сотни миллионов на математику и придерживает часть доказательств

Слова прозвучали в подкасте Cheeky Pint, выпуск которого вышел в четверг. До этого математики не раз жаловались изданию The Verge, что OpenAI публикует результаты без внятных пояснений и без нормальной проверки. Альтман впервые так прямо высказался о том, как его компания влияет на работу математиков.

Что проверяли?

Это не научное исследование в привычном смысле, а рассказ Альтмана о том, как OpenAI проверяла пределы своих моделей. Сотрудники брали самые сложные математические задачи и отдавали их ИИ, чтобы увидеть, где модель справится, а где сдастся.

Для этого внутри компании завели отдельный канал в Slack (корпоративном мессенджере) под названием Model Name-Hold My Beer. Название обыгрывает шуточное выражение «Подержи моё пиво», которое говорят перед рискованным трюком. По словам Альтмана, сотрудники там «просто бросали модели на самые трудные задачи, какие могли найти».

Результатом стали доказательства. Доказательство здесь означает строгое логическое обоснование того, что математическое утверждение верно. Проверять такие работы приходится живым специалистам, и именно эта часть стала источником конфликта.

Что выяснилось?

Из подкаста и материала The Verge складывается такая картина:

• OpenAI потратила на математику, по оценке Альтмана, «порядка сотен миллионов долларов».
• Около 10 млн долларов ушло на решение, связанное с уравнениями Навье-Стокса. Это уравнения, которыми описывают течение жидкостей. Задача о них входит в задачи тысячелетия, легендарные нерешённые проблемы математики.
• Только за этот месяц компания выпустила сотни математических результатов. Часто к ним прилагались лишь короткие описания, которые исследователи называют плохо написанными и трудными для понимания.
• Компания объявила о трёх прорывах: в математике, физике и информатике. Детали одного из них, связанного с теорией Янга-Миллса (математической основой современной физики частиц), не опубликованы.
• На вопрос, есть ли у OpenAI доказательства сверх уже выпущенных сотен, Альтман ответил: «Есть. Конечно».
• Альтман признал, что погоня за задачами на короткое время «вышла из-под контроля». По его словам, так было сделано намеренно, чтобы прощупать пределы моделей.

Позицию Альтман сформулировал так:

Здесь у меня нет сомнений: человечество заслуживает фундаментальных знаний, и мы не должны сидеть на крупном открытии в фундаментальной науке. : Сэм Альтман, генеральный директор OpenAI

Здесь видно противоречие, на которое указывает The Verge. Альтман говорит, что нельзя придерживать открытия, а по результату о теории Янга-Миллса компания делает именно это. В OpenAI объясняют задержку рекомендациями группы экспертов, которых сама компания отобрала. Предыдущая группа математиков, с которой OpenAI советовалась, рекомендовала обратное.

Что это значит для вас?

Главный урок общий для всех: даже у OpenAI результаты ИИ требуют проверки людьми. Если модель так ведёт себя на уровне передовой математики, на бытовых задачах осторожность тем более нужна.

Автору Дзена. Используете ChatGPT от OpenAI для черновиков? Проверяйте каждый факт, цифру и имя. ИИ склонен к галлюцинациям, то есть уверенно выдумывает то, чего не было. Математики жалуются, что тратят время на проверку чужих результатов, и с вашими текстами будет то же самое, если этот шаг пропустить.

Маркетологу. Случай OpenAI хорошо показывает, как теряется доверие. Сильный результат, поданный без контекста и пояснений, вызывает раздражение, а не восхищение. Если вы выпускаете материалы, подготовленные с помощью ИИ, объясняйте, откуда данные и кто их проверил.

Предпринимателю РФ и СНГ. Сотни миллионов долларов на математику показывают, какие ресурсы крупные лаборатории вкладывают в науку. Исследователи опасаются, что их просто вытеснят из собственных областей. Малому бизнесу соревноваться в таком нет смысла. Разумнее брать готовые инструменты под конкретные задачи.

Из доступных в РФ аналогов это YandexGPT и GigaChat.

По данным The Verge