System One модель Jev не генерирует текст: один бит решения за миллисекунды вместо секунды

Компания TypeSafe AI из Сан-Франциско, основанная в 2024 году, позиционирует Jev как первую реализацию нового класса моделей, который они называют System One models. Об этом стало известно из интервью основателя и CEO Диогу Алмейды (Diogo Almeida), соавтора статьи InstructGPT и участника раннего пост-трейна в OpenAI. Западное AI-сообщество отреагировало бурным обсуждением, и ниже разберём, за что именно спорят инженеры.

Что Jev делает и чего не делает?

Jev не умеет писать текст. Совсем. Это не чат-бот и не большая языковая модель в привычном смысле.

Модель не генерирует токен (минимальная единица, которую обрабатывает нейросеть: слово, часть слова или символ) за токеном. Вместо этого она принимает структурированное состояние, выбирает один из заданных вариантов и возвращает типизированный результат с явной вероятностью. Для описания архитектуры Алмейда использует термин «франкенштейнинг»: модель собрана из разных подходов, а не является уменьшённой копией GPT.

Рабочий пример из источника: обращение в поддержку авиакомпании. Клиент пишет: «рейс отменили, замену не предложили, верните деньги». Софт на входе должен решить сразу несколько вещей:

• Это запрос на возврат?
• Насколько клиент зол?
• Какой отдел обрабатывает?
• Нужен ли живой оператор?

Дальше идёт обычный код: проверка сроков, создание заявки, приоритет. Семантика нужна только на входе, и именно этот кусок Jev берёт на себя.

Зачем это вообще нужно, если есть большие модели?

Стандартное решение последних лет: системный промпт (базовая инструкция модели) на пару тысяч токенов, ограничения на формат вывода и просьба вернуть JSON. Это работает, но с двумя проблемами.

Первая: задержка около секунды на ответ, что критично при миллионах запросов в сутки. Вторая, и она важнее: у сгенерированной строки нет настоящей уверенности. Поле "escalate": true выглядит одинаково, когда модель уверена на 99% и когда она, по сути, подбросила монетку. Попросить модель добавить поле "confidence" бесполезно: это будет ещё одна генерация, а не измеренная вероятность.

Как формулирует источник: «Мы хотим получить один бит, делать возврат билета или нет, от технологии, которая попутно знает рецепт сырников, всех победителей Лиги чемпионов и первую тысячу знаков числа пи».

TypeSafe переворачивает конструкцию. Рантайм (среда исполнения программы) передаёт структурированное состояние, модель принимает маленькое семантическое решение и возвращает типизированный результат с вероятностью. Дальше работает обычный код.

Аргументы за System One модель

Скорость и стоимость. Если задача сводится к выбору из вариантов, System One модель выполняет инференс (процесс, когда модель обрабатывает запрос и выдаёт ответ) за миллисекунды, а не за секунду. Для роутинга, верификации и решений в реальном времени это критическая разница.

Калиброванная вероятность. Jev возвращает не строку, а распределение. Разработчик видит, насколько модель уверена, и может принимать решение на основе порога: ниже 70%, передай человеку.

Код остаётся кодом. Логика и состояние живут в программе. ИИ подключается только там, где обычному коду не хватает понимания смысла. Это проще тестировать, проще отлаживать, проще объяснять.

Философия основателя. Алмейда утверждает, что автоматизация будет на подавляющую долю состоять из взаимодействий машины с машиной, а человек подключается редко. Для такого мира нужен не собеседник, а семантическая функция, базовый примитив софта, достаточно дешёвый для миллионов проверок.

Честные аргументы против

Независимых оценок мало. Детали обучения методом RLCD (обучение с подкреплением на контрастных данных) не раскрыты. Пока нет публичных бенчмарков, на которых можно сравнить Jev с альтернативами.

Многошаговые рассуждения не для неё. Jev хуже подходит для задач, где нужна цепочка логических шагов: рассуждающая модель (reasoning model) здесь выигрывает по определению. System One модель решает маленькие задачи, а не сложные.

Калибровка требует своих проверок. Уверенность модели в ответе сама по себе нуждается в оценке и калибровке. Заменив одни эвалы (тесты качества модели) на другие, разработчик не избавляется от работы, а смещает её.

Узкая ниша. Если задача не сводится к выбору из вариантов, Jev бесполезна. Генерация текста, написание кода, свободный диалог, всё это вне её возможностей.

Индустрия годами оптимизировала модели под разговор с человеком, но с появлением агентов всё большим потребителем результатов является софт, а не человек, а значит всё должно выглядеть иначе. : Диогу Алмейда, CEO TypeSafe AI

Что с этого вам прямо сейчас?

Разработчику и техническому автору. Если вы встраиваете ИИ в продакшен и мучаетесь с парсингом строк из большой модели, System One модель решает именно эту боль. Роутинг обращений, скоринг, верификация данных: проверьте, укладывается ли ваша задача в формат «выбор из вариантов с вероятностью». Cookbook TypeSafe уже опубликован.

Автору Дзена и контент-маркетологу. Jev не пишет текст. Для генерации статей, рерайта, редактуры она не подходит. Но понимание System One моделей полезно как тема для экспертного контента: это свежий тренд, о котором мало кто пишет на русском.

Предпринимателю в РФ и СНГ. TypeSafe AI базируется в Сан-Франциско, и о доступности Jev из России источник ничего не сообщает. Из ближайших по духу инструментов в РФ доступны YandexGPT и GigaChat, но обе решают другую задачу: это генеративные модели. Аналога «семантической функции» с калиброванной вероятностью на российском рынке пока нет.

Алмейда оценивает долю экономически ценной работы, уже автоматизированной моделями, как «пока даже не 1%». Если он прав, рынок семантических функций только начинается, и System One модель может стать для него тем, чем стал API для облачных вычислений: скучным, дешёвым и вездесущим примитивом, который никто не замечает, пока он работает.