Сбер выпустил RUMBA: первый бенчмарк нейросетей на русском для проверки долгосрочной памяти

RUMBA закрывает пробел, который мешал объективно сравнивать русскоязычные ассистенты и агентные системы. Существующие англоязычные бенчмарки нейросетей оценивают память «плоско»: один вопрос получает один тег, например «временной» или «многошаговый». RUMBA размечает каждый вопрос тройкой тегов одновременно, что позволяет понять, на каком именно участке память ломается. По данным авторов, датасет создавали 26 человек за 20 рабочих дней; русская версия является основной, а английская получена автоматическим переводом и ручной сверкой.

Что именно проверяет RUMBA?

Обычный бенчмарк нейросетей спрашивает модель и смотрит, насколько ответ точен. RUMBA устроен иначе: он тестирует не саму языковую модель, а весь механизм памяти вокруг неё.

Память в современных ассистентах, это не свойство самой нейросети. Это отдельный слой: векторная база данных, граф фактов о пользователе, журнал событий. Качество ответа зависит от того, как этот слой извлекает нужный факт, обновляет устаревший и удаляет информацию по просьбе пользователя.

RUMBA проверяет три группы задач:

• Извлечение информации. Система должна найти в прошлых сессиях конкретный факт и перенести его в ответ. Факт может быть изменён, дополнен или удалён пользователем в более позднем разговоре, и система обязана это учесть.
• Рассуждение. Системе нужно сопоставить несколько фактов из разных сессий, восстановить связи между людьми и событиями, выполнить вычисления или учесть порядок событий во времени.
• Отказ от ответа. Вопросы, на которые в диалоге ответа нет. Проверяется, умеет ли система честно сказать «я не знаю» вместо того, чтобы галлюцинировать (уверенно выдумывать то, чего не было).

Ключевая деталь: у каждого вопроса в RUMBA есть временная метка. Правильный ответ зависит от того, в какой момент истории общения вопрос задан. Это позволяет проверить, понимает ли система, какие факты были актуальны на конкретную дату.

Что обнаружили авторы?

• Каждый вопрос описан тройкой тегов: семантический тип, охват сессий (одна или несколько) и зависимость от времени. Для временных вопросов добавляется четвёртый тег, показывающий, как именно время выражено в репликах: явно, неявно или не выражено напрямую.
• Такая многослойная разметка (таксономия) позволяет находить слабые места конкретной архитектуры памяти, а не просто фиксировать общий балл.
• Англоязычные бенчмарки используют «плоскую» разметку с одним тегом на вопрос. RUMBA показывает, что один вопрос может одновременно требовать обновления факта, сбора данных из нескольких сессий и рассуждения с учётом хронологии, и каждый аспект нужно оценивать отдельно.
• Пользовательские реплики в датасете писали люди, ответы ассистента генерировала GigaChat Max, а эталонные ответы и вопросы создавали и проверяли вручную.

Что делать с этим прямо сейчас?

Автору на Дзене. Если вы используете ИИ-ассистента для работы с контентом и заметили, что он «забывает» ваши предпочтения или путает старые и новые данные, RUMBA объясняет, почему: проблема не в модели, а в механизме памяти вокруг неё. Когда сервисы начнут публиковать результаты по RUMBA, у вас появится объективный критерий выбора.

Маркетологу. Бенчмарк нейросетей для памяти, это инструмент сравнения продуктов. Если вы внедряете чат-бота для клиентской поддержки или персонализированного ассистента, спросите у поставщика: тестировался ли продукт на RUMBA и по каким группам задач он проседает.

Предпринимателю в РФ. RUMBA создан в России, на русском языке и доступен для использования. Это редкий случай, когда русскоязычный бенчмарк нейросетей появился раньше, чем потребность в нём стала критической.

Появление RUMBA даёт разработчикам конкретный измеритель, а пользователям, язык для претензий: не «он тупой», а «у вас проседает обновление фактов при межсессионном рассуждении». Для рынка русскоязычных ИИ-продуктов это первый шаг от субъективных впечатлений к проверяемым результатам.

По данным авторов RUMBA