«Финам» выложил бенчмарки языковых моделей для финансов: 3 993 задачи от CFA до трейдинга

Лаборатория ИИ «Финама», одного из крупных российских брокеров, опубликовала вторую версию проекта FINESSE-Bench. Первая версия появилась ранее как экспериментальный набор тестов; теперь проект получил отдельную страницу, репозиторий на GitHub, статью на arXiv и карточку на Hugging Face Papers. Источник публикации: блог Лаборатории ИИ «Финама».

Что на самом деле сделали?

Проблема простая: вы берёте языковую модель, она отлично отвечает на общие вопросы, но когда доходит до конкретных финансовых задач, результат непредсказуем. Хорошая оценка на популярных открытых тестах не гарантирует, что модель разберётся в техническом анализе или сдаст пробный экзамен CFA (Chartered Financial Analyst, международная сертификация финансовых аналитиков).

FINESSE-Bench проверяет модели именно на таких задачах. В набор входят восемь датасетов:

• CFA-like Level 1, 2, 3: вопросы, похожие на экзамены CFA трёх уровней сложности
• CMT-like Level 2: задачи по стандартам сертификации рыночных техников
• CFTe-like Level 1: новый блок по базовому техническому анализу (781 вопрос про графики, тренды, уровни поддержки и сопротивления, скользящие средние)
• VLigaBench-ru: русскоязычный олимпиадный блок
• Trading_TA и Trading_derivatives: прикладные задачи по трейдингу и деривативам (производным финансовым инструментам, таким как фьючерсы и опционы)

Три формата вопросов: с выбором ответа (MCQ), с числовым ответом (NAQ) и с кратким ответом (SAQ).

Что изменилось по сравнению с первой версией?

Команда исправила 169 вопросов в блоке CFA-like Level 1: часть устарела, часть содержала ошибки в формулировках или разметке.

Добавился новый датасет CFTe-like Level 1, который закрывает фундаментальный уровень знаний по техническому анализу. Раньше в этом направлении были только прикладные задачи, теперь есть и базовая проверка.

Метрики стали строже. Вместо одной цифры точности (accuracy, доля правильных ответов) команда перешла к бутстрап-оценке (bootstrap, статистический метод, при котором результат пересчитывается многократно на случайных подвыборках, чтобы понять, насколько он устойчив) с 95-процентными доверительными интервалами. Проще говоря, теперь видно не только «модель ответила на 72% вопросов правильно», но и «результат устойчив в диапазоне от 70 до 74%». Это не даёт делать громкие выводы из разницы в один процент.

Пул расширили до более чем 60 моделей, из которых 33 прошли все одиннадцать бенчмарков (восемь собственных плюс три публичных для сравнения).

Отдельно оценили различающую способность самих вопросов: насколько хорошо набор отличает сильные модели от слабых и не «насытился» ли он, то есть не стал ли слишком лёгким для лидеров.

Сильные результаты на привычных публичных наборах данных далеко не всегда переносятся на более прикладные, экзаменационные или ориентированные на трейдинг задачи. : Лаборатория ИИ «Финама», блог проекта FINESSE-Bench

Почему рынку нужны именно такие бенчмарки языковых моделей?

Финансовая отрасль вкладывает деньги в языковые модели для аналитики, автоматизации отчётов и торговых стратегий. Но до сих пор выбор модели часто опирался на общие рейтинги, вроде MMLU или HellaSwag, где финансовый блок занимает малую долю и не покрывает прикладные сценарии.

Релиз вышел в открытом доступе, с GitHub-репозиторием и статьёй на arXiv, а значит, любой исследователь или финтех-команда может прогнать свою модель через те же тесты и сравнить с таблицей лидеров. Для российского рынка это редкая ситуация: бенчмарк создан внутри страны, включает русскоязычный олимпиадный блок и сразу применим к моделям, которые работают с рублёвым рынком.

Что делать с этим прямо сейчас, по ролям

Автору Дзена, пишущему о финансах. Если вы используете нейросеть для подготовки материалов по инвестициям или трейдингу, проверьте, как ваша модель справляется с базовыми финансовыми вопросами. Таблица лидеров FINESSE-Bench покажет, какие модели сильнее именно в финансовом контексте, а не в среднем по всем темам.

Маркетологу в финтехе. Бенчмарки языковых моделей такого уровня дают аргумент для выбора модели под продукт. Вместо «мы взяли самую популярную» можно сказать «мы взяли ту, что лидирует на CFA-like и Trading_TA».

Предпринимателю в РФ. Проект российский, данные открыты, русскоязычный блок есть. Если вы строите продукт на базе языковой модели для финансового рынка, FINESSE-Bench позволяет сравнить доступные модели, включая YandexGPT и GigaChat, на релевантных задачах, а не на общих тестах.

Открытый российский бенчмарк для финансовых нейросетей, это не революция, но конкретный инструмент, который позволяет перестать гадать и начать измерять. Если вы работаете с финансовым контентом или продуктом, зайдите на страницу FINESSE-Bench и прогоните свою модель, пока конкуренты ещё сверяются с общими рейтингами.