ИИ-модель для production без RLHF: Jev набрала 40 млн просмотров за запуск

Диого Алмейда, соавтор InstructGPT и бывший участник команды постобучения OpenAI, несколько лет утверждал, что доступные через API фронтирные модели пошли по неверному пути. По его словам, после успеха ChatGPT индустрия свалилась в единственный формат: авторегрессионные чат-модели, настроенные на диалог. Это, считает Алмейда, создало проблемы с надёжностью, калибровкой и интеграцией моделей в реальное программное обеспечение. Его компания TypeSafe AI выпустила модель Jev как альтернативу этому подходу. Видео запуска набрало около 40 миллионов просмотров (для сравнения, по данным TypeSafe AI, запуск GPT-4o набрал 22 миллиона).

Что именно сделали в TypeSafe AI?

Алмейда разделяет существующие подходы к обучению моделей на три ветки, все выросшие из RLHF (обучение с подкреплением на основе обратной связи от человека, когда люди оценивают ответы модели, а модель учится выбирать те, что нравятся больше):

• Christiano et al., 2017 (демонстрация робота, делающего сальто).
• Stiennon et al., 2020 (обучение модели делать хорошие резюме текста).
• Ouyang et al., 2022 (InstructGPT, в котором Алмейда участвовал лично).

По его оценке, каждая последующая надстройка, от вызова функций до структурированных выходов и рассуждающих моделей, была «хаком поверх парадигмы предсказания строка-в-строку». В 2023 и 2024 годах Алмейда пытался внутри организации обучить модель, которая решала бы главную, по его мнению, проблему: надёжность ИИ как компонента программного обеспечения. По его словам, попытки не удались из-за недооценки задачи.

Результатом стал метод RLCD. В отличие от RLHF, где модель оптимизируется под «нравится человеку», RLCD оптимизирует «эпистемически честные вероятности на задачах Системы 1».

Что такое «Система 1» в контексте Jev?

Термин «Система 1» Алмейда берёт из когнитивной психологии (быстрое, автоматическое мышление в противовес медленному аналитическому «Система 2»). Jev позиционируется как модель для быстрых, калиброванных решений: не для длинных рассуждений, а для мгновенного встраивания в программный код.

Конкретные ранние применения, которые называет TypeSafe AI:

• Игры и управление компьютером в реальном времени.
• Кодинг-агенты (есть официальное руководство от TypeSafe).
• Аналитика пользовательских сессий и работа с «тёмными данными» (dark data, данные, которые компания собирает, но не анализирует).
• «Умные NPC» (персонажи в играх, управляемые ИИ).

Ключевая цель, по словам Алмейда: Jev должна «исчезнуть на заднем плане», стать такой же незаметной инфраструктурной частью, как регулярные выражения (regex, инструмент поиска по шаблону, который программисты используют каждый день, не задумываясь).

Почему TypeSafe AI называет себя «лабораторией данных»?

Алмейда формулирует то, что называет «горчайшим уроком» (The Bitterest Lesson): «Вы получаете то, что оптимизируете, и горчайший урок машинного обучения в том, что самая важная его часть вообще не относится к машинному обучению». Правильная задача и правильные данные, по его словам, важнее вычислительных мощностей.

TypeSafe AI позиционирует себя не как «модельную лабораторию», а как «лабораторию данных». Алмейда заявляет, что не стал бы заниматься предобучением, даже имея миллиард долларов, и считает, что многие новые ИИ-лаборатории подходят к задаче неправильно.

Компания также отвергает участие в публичных бенчмарках (стандартных тестах для сравнения моделей) и вместо этого оптимизирует метрику «интеллект на доллар».

Что это значит для тех, кто работает с ИИ в России?

Авторам и контент-мейкерам. Jev сейчас не инструмент для написания текстов. Но сам подход «модель для программного кода, а не для чата» стоит отслеживать: если он покажет результат, следующее поколение ИИ-инструментов для контента будет работать иначе. Не «напиши мне пост», а встроенный в редактор невидимый помощник, который сам проверяет факты, подбирает иллюстрации, форматирует.

Разработчикам и тем, кто строит автоматизацию. Проблема, которую Алмейда описывает, реальна и в России: когда ИИ-модель встроена в цепочку автоматизации без участия человека, галлюцинации и немотивированные отказы ломают весь процесс. Если вы строите ИИ-агентов на YandexGPT, GigaChat или через API зарубежных моделей, рекомендация Алмейды «разбивайте рабочий процесс ИИ на маленькие, измеримые решения» применима уже сейчас, независимо от доступности Jev.

Предпринимателям. Jev пока доступна через TypeSafe AI, доступность API из России в источнике не уточняется. Но подход «интеллект на доллар вместо интеллекта на бенчмарк» это критерий, который стоит применять при выборе любой ИИ-модели для production: не «какое место в рейтинге», а «сколько стоит надёжно решить мою задачу».

Практический вывод: не ждите Jev, но возьмите из этой истории принцип. Если вы строите ИИ-модели для production, измеряйте не «красоту ответа», а калибровку (насколько модель честна в оценке своей уверенности) и надёжность при работе без человека. Этот критерий работает с любой моделью, доступной в России прямо сейчас.

По данным TypeSafe AI