Китайские учёные открыли код AKV: ИИ-агенты работают в среднем на 27,7% дешевле

Если коротко, что такое ИИ-агент: это нейросеть, которая не просто отвечает на вопрос, а сама проходит цепочку шагов. Она ищет в сети, запускает инструменты, читает результаты и снова думает. Чем длиннее цепочка, тем больше накопленной истории, и тем дороже каждый следующий шаг.

До сих пор длинную историю сжимали пересказом. Модель кратко излагала старые реплики и выбрасывала подробности, часто из середины работы. AKV предлагает другой путь. Разбор исследования опубликовал Marktechpost.

Что исследователи сравнивали и на чём?

Ключевое понятие здесь KV-кэш. Это короткая память модели о уже прочитанном тексте, своего рода закладки, чтобы не перечитывать всё заново. При пересказе истории закладки после изменённого места сбиваются, и модель вынуждена заново перечитывать хвост. AKV оставляет сам текст нетронутым и просто скрывает часть закладок от внимания модели.

Для этого есть три операции. Append добавляет новые слова, Drop убирает выбранные записи, Repos уплотняет оставшиеся, чтобы они шли подряд. Пересчитывать при этом ничего не нужно.

Метод проверили на трёх моделях:

• GPT-OSS-120B, в работе 5,1 млрд параметров;
• MiniMax-M2.7, всего 230 млрд параметров, в работе 10 млрд;
• MiroThinker-1.7-Mini, всего 30 млрд, в работе 3 млрд.

Испытания шли на четырёх наборах задач для агентов: BrowseComp-Plus, GAIA-Text, SWE-bench Verified и xbench-DeepSearch-2510. Основная схема AKV держит в памяти 12 последних ответов инструментов. Соперников два: Standard делает пересказ при объёме 96 тысяч токенов (токен, кусочек слова, в котором модель считает текст), Text Engineering при 48 тысячах.

AKV дешевле и точнее на длинных задачах, вот цифры

• Средняя стоимость ниже на 27,7%, чем при пересказе по порогу, и на 21,9% ниже, чем у Text Engineering.
• На длинных прогонах от 96 тысяч токенов GPT-OSS-120B набирает 37% против 24% у Standard и 32% у Text Engineering.
• Одна только операция уплотнения подняла долю решённых задач GPT-OSS-120B на BrowseComp-Plus с 55% до 62%.
• На 80 длинных задачах сервер выдаёт в 1,18 раза больше текста на выходе и в 1,53 раза быстрее принимает входной.
• Задержка P95 (время, в которое укладываются 95% запросов) при 16 одновременных запросах упала с 229,90 до 30,63 секунды.
• При ограниченном бюджете видеокарт на 100 задачах AKV решил около 47% против 40,7% у Standard и 32,3% у Text Engineering.

Отдельный опыт: модель MiniMax-M2.7 сама дорабатывала правила работы с памятью. Шестая версия правил срезала стоимость на 17,8% при той же точности, а сверх схемы, составленной экспертами, экономия составила 7,1%. Когда памятью разрешили управлять как инструментом, балл GPT-OSS-120B вырос с 52,1 до 61,0, но расходы MiniMax-M2.7 поднялись с 5,4 до 5,9 цента.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена напрямую AKV не пригодится: это не чат-бот, а серверная начинка. Полезно другое. Если вы пользуетесь агентами для долгого поиска материалов, их забывчивость на середине задачи, это известная проблема, и её уже решают.

Маркетологу, который гоняет агентов через платные интерфейсы, стоит запомнить цифру 82,4%. Основная часть счёта уходит на перечитывание памяти, поэтому выбирайте сервисы, которые экономят именно на этом.

Предпринимателю в РФ и СНГ важнее всего лицензия. AKV выпущен под Apache-2.0, она разрешает бесплатное коммерческое использование. Он работает на SGLang, программе для запуска моделей на видеокартах NVIDIA. Для быстрого старта GPT-OSS-120B нужны две видеокарты с разделением модели между ними. Интерфейс совместим с OpenAI, значит готовые скрипты переключаются сменой адреса.

Перед установкой проверьте, есть ли ваша модель в списке поддержки. YandexGPT и GigaChat в него не входят, так что для работы с ними AKV не подойдёт.

По данным Marktechpost