Финансовый ИИ-агент Sterling обошёл Claude на тесте Samaya и оказался в 11 раз дешевле

Если коротко отвечать на вопрос, что такое ИИ-агент, это программа на основе нейросети, которая сама планирует шаги и пользуется инструментами, как стажёр с доступом к базам данных. О релизе написал Marktechpost со ссылкой на технический блог Samaya, и главная мысль там такая: маленькую модель учили вместе с её рабочим окружением, и в своей нише она выиграла.

Что измеряли?

FrontierFinance, это бенчмарк (набор контрольных заданий) самой Samaya. В нём 220 публичных запросов в духе работы финансового аналитика, а ответы сверяют с чек-листами, которые составили эксперты. Оценивает ответы комиссия из трёх нейросетей-судей.

По заявлению команды, ни один вопрос бенчмарка не попал в обучение. Промежуточные версии модели отбирали по 100 внутренним проверочным вопросам.

В основе Sterling лежит Nemotron 3.5 Lightning от NVIDIA. Это модель типа «смесь экспертов» (MoE): из 30 млрд параметров на каждом шаге работают только 3 млрд, примерно как в большой конторе на конкретную задачу выходят лишь нужные отделы.

Поверх модели работает обвязка, то есть рабочее окружение агента:

• из системного промпта (стартовой инструкции для модели) и описаний инструментов убрали подробные пояснения, а сами инструменты объединили, чтобы инструкция стала короче;
• одна вспомогательная модель сжимает длинные результаты инструментов, другая пересказывает ход работы, когда он разрастается;
• бюджет на исследование ограничивает время работы агента, после чего отдельный автор отчёта отвечает по собранным материалам.

Обучали Sterling через LoRA, это лёгкое дообучение, при котором модель не переписывают целиком, а добавляют к ней небольшие настройки. Использовали Tinker, сервис для обучения от Thinking Machines Lab. Обучение прошло четыре этапа:

• на 968 синтетических вопросах аналитика, где учителем выступала модель Kimi K3; так Sterling научилась правильно вызывать 37 инструментов;
• на лучших из восьми стратегий: Kimi K3 отвечала на 1819 вопросов от экспертов, после фильтрации осталось 1157;
• два этапа обучения с подкреплением, когда модель получает оценки за ответы и учится на сравнении попыток.

Что обнаружили?

• Sterling набрала 58,9% против 55,9% у Claude Fable 5.1, разница составила 3,0 пункта.
• Вопрос обходится в 0,61 доллара против 6,89, дешевле в 11 раз. Сама модель стоит 0,04 доллара за вопрос, остальное уходит на инструменты и вспомогательные модели.
• По скорости Sterling чуть медленнее: 282 секунды на вопрос против 268 у Fable 5.1.
• В режиме повышенных усилий результат вырос до 60,6% при цене 1,83 доллара и 372 секундах.
• Каждый этап обучения добавлял качество: 42,5% у базовой модели, затем 51,4%, 54,8%, 57,5% и итоговые 58,9%.
• На самой сложной трети вопросов результат вырос с 31,8% до 45,2%.
• Медианное число обращений к инструментам выросло с 3 до 17, то есть агент стал копать глубже.
• Собственная система Samaya в режиме повышенных усилий набирает на 2,9 пункта меньше Sterling и стоит 1,81 доллара.

Заметьте, что дешевизна здесь держится не на одной модели: 0,04 доллара из 0,61 дают сами вычисления модели, всё остальное съедает окружение.

Что это значит для вас?

Главный практический вывод: модель с 3 млрд активных параметров, базовую версию которой можно запустить на одной H100, в узкой задаче финансового анализа обходит Claude при цене 0,61 доллара против 6,89. Для бизнеса это аргумент в пользу маленьких специализированных моделей вместо дорогих универсальных.

Автору Дзена. Пишете о деньгах и инвестициях? Такие агенты собирают факты, но 45,2% на трудных вопросах означают, что каждую цифру в материале проверяйте вручную, иначе рискуете поймать галлюцинацию (когда ИИ уверенно выдумывает то, чего не было).

Маркетологу. Разница в 11 раз по цене меняет экономику массовой аналитики: обзоры рынка и конкурентов можно поручать дешёвому узкому агенту, а дорогую модель оставить для финальной вычитки.

Предпринимателю в РФ и СНГ. О доступности Sterling в России источник не сообщает. Из доступных в РФ аналогов для экспериментов с агентами подойдут YandexGPT и GigaChat, а сам рецепт, узкая модель плюс продуманное окружение, переносится на любую платформу.

Берите от Sterling сам принцип: сначала опишите узкую задачу и выстройте шаги агента, а размер модели подбирайте потом. Скорее всего, именно такие компактные агенты в ближайший год доберутся до бухгалтерии и аналитики малого бизнеса.

По данным технического блога Samaya AI в изложении Marktechpost