Microsoft Research: менее 8% сессий ИИ-агентов съедают 44% затрат, APEC срезает до 25,4%

Выпуск вела Энсон Хо (Anson Ho). Кроме математики и экономики ИИ-агентов (программ, которые сами выполняют цепочку шагов по задаче, а не отвечают на один вопрос), в нём есть ещё три темы: синхронный перевод речи, новый способ резать текст на кусочки для нейросетей на 104 языках и стажировка в токийской лаборатории.

Что измеряли?

Главная для практиков тема дайджеста касается денег. У любой нейросети есть предел информации, которую она держит в голове за раз. Это контекст, условно «рабочий стол» модели. В долгой сессии стол переполняется, и агент вынужден пересказывать сам себе всё, что было раньше. Такой пересказ называют сжатием контекста (context compaction), и он требует много ресурсов.

Исследователи проверили, насколько часто это случается и во что обходится. Для оценки сжатия на длинных задачах они собрали бенчмарк COMPACTIONBENCH. Бенчмарк здесь означает стандартный набор испытаний, на котором сравнивают разные подходы.

Вторая тема касается токенов. Прежде чем прочитать текст, модель режет его на кусочки, токены. Большинство «резаков», токенизаторов, стремятся просто ужать текст поплотнее. Новый Latent Core Tokenizer (LCT) сначала ищет повторяющиеся части слов и только потом собирает общий словарь для всех языков.

Третья тема чисто математическая. Гипотеза KLS (Kannan, Lovász, Simonovits) касается геометрии многомерных пространств и влияет на понимание того, насколько эффективны случайные алгоритмы, которые используют в науке и вычислениях.

Что обнаружили?

• Дорогих сессий мало, но они съедают почти половину бюджета. Сжатие понадобилось менее чем в 8% из 13,5 млн сессий, а на них пришлось 44% всех затрат на обработку.
• Пересказ можно готовить в фоне. Метод APEC делает сводку заранее и не прерывает работу агента. По данным испытаний, он улучшил качество кода, снизил затраты до 25,4% и время выполнения на 9,6%.
• Гипотеза KLS доказана спустя 31 год. Простые плоские разрезы находят самые узкие места у целого класса распределений с точностью до постоянного множителя, при любом числе измерений. Результат проверили независимо, а доказательство формально подтвердили с помощью компьютера.
• Сжатие текста не главное. На 104 языках LCT дал более осмысленные с точки зрения лингвистики токены, чем ведущие аналоги, при сопоставимой эффективности. Качество моделей выросло на 4 многоязычных бенчмарках.
• Универсальный переводчик ближе. Руководитель прикладных исследований Microsoft Цзиньюй Ли (Jinyu Li) обсудил в подкасте Our Digital Life прогресс и нерешённые проблемы перевода речи. Отсылка к идее из «Звёздного пути» 1967 года.

Обратите внимание на подачу: цифры про агентов опираются на реальную нагрузку, 13,5 млн сессий, а не на лабораторный опыт. Это редкость для тем про стоимость ИИ.

Что это значит для вас?

Автору Дзена. Длинный диалог с нейросетью дорог и для модели, и для качества. Когда чат разросся и ответы поплыли, начните новый и вставьте короткую выжимку: цель, тон, ключевые факты. По сути, вы делаете сжатие контекста вручную и под своим контролем.

Маркетологу. Если платите за ИИ по объёму обработки, затраты распределены неравномерно: небольшая доля долгих задач может съедать почти половину бюджета. Смотрите в отчётах на самые длинные сессии, экономия прячется там.

Предпринимателю в РФ и СНГ. APEC и LCT сейчас исследовательские разработки, готового продукта в выпуске нет. Логика при этом переносится на любой сервис. Из доступных в РФ аналогов для работы с текстом подходят YandexGPT и GigaChat.

Работа над токенизацией касается и русского языка: от того, как модель режет слова, зависит, сколько стоит обработка и насколько точно она понимает текст.

Совет на эту неделю: найдите свой самый длинный рабочий чат с нейросетью, попросите её сделать выжимку на десять строк и продолжите работу в новом окне. Разницу в ответах вы увидите сами.

По данным Microsoft Research Focus