Что такое ИИ-агент на практике: Dynamo от NVIDIA убирает потерю KV-кэша между шагами

Термин «ИИ-агент» (agent) за последний год стал одним из самых частых в ML-сообществе, но на практике запустить агента на многоузловом кластере оказывается труднее, чем написать его логику. Александра, Data Scientist в компании «Рафт», разобрала на Хабре, как NVIDIA Dynamo, открытый фреймворк для распределённого инференса (исполнения модели на сервере), справляется с главной болью: утечкой KV-кэша при агентных сценариях. Ниже практический разбор по её материалу с акцентом на то, что пригодится инженерам, работающим с GPU-кластерами в РФ.

Почему KV-кэш утекает именно у агентов?

Классический чат-запрос к языковой модели работает по схеме «один вопрос, один ответ». На фазе prefill (первичное заполнение) сервер строит KV-кэш (key-value кэш, промежуточные данные внимания модели, которые хранятся в памяти GPU, чтобы не пересчитывать контекст заново) для всех входных токенов, затем генерирует ответ и освобождает память.

ИИ-агент работает иначе. Он использует паттерн ReAct-loop:

• генерация текста моделью,
• вызов внешнего инструмента,
• приём результата,
• продолжение генерации с учётом нового контекста.

Каждый вызов инструмента создаёт паузу. Стандартные механизмы вытеснения (LRU-eviction) воспринимают паузу как завершение сессии и сбрасывают весь префикс из GPU-памяти. Результат: полный prefill заново, удвоение вычислений, рост задержки.

Вторая проблема касается многоузловых кластеров. KV-кэш привязан к конкретному GPU. Разные шаги одного агента могут попасть на разные GPU, и тогда происходит гарантированный промах кэша (cache miss). Пересылка кэша между узлами пока обходится дорого, поэтому часто дешевле пересчитать всё с нуля.

Именно эти две проблемы Dynamo берётся решать.

Что понадобится

• GPU-кластер с поддержкой NVLink или InfiniBand (минимум два GPU для disaggregated serving).
• NVIDIA Dynamo (опенсорс, репозиторий на GitHub).
• Движок инференса: vLLM, SGLang или аналогичный, Dynamo работает поверх них как оркестрационный слой.
• Модель: подходят крупные открытые модели (Qwen, DeepSeek и другие).
• Время: развёртывание базовой конфигурации занимает от нескольких часов, в зависимости от знакомства с инфраструктурой NVIDIA.

Как Dynamo устроен: пошаговая логика фреймворка

1. Запрос приходит на Frontend, единую точку входа. Frontend принимает вызовы от агента по стандартному API и передаёт их маршрутизатору.

2. KV Router определяет, куда направить запрос. Маршрутизатор проверяет, на каком GPU уже лежит нужный KV-кэш, и отправляет запрос именно туда, а не на случайный свободный узел. Это ключевое отличие от Triton Inference Server, который появился в 2018 году и проектировался под классические сценарии без агентных петель.

3. Prefill worker строит начальный KV-кэш для входного контекста. Decode worker на другом GPU генерирует ответ токен за токеном. Такое разделение (disaggregated serving) позволяет загружать оборудование равномернее: prefill требует много параллельных вычислений, decode больше последовательных шагов с меньшей нагрузкой на каждый.

4. NIXL (NVIDIA Inference Xfer Library) перемещает KV-блоки между воркерами по NVLink и InfiniBand с использованием RDMA (прямой доступ к памяти удалённого устройства, минуя процессор). Это снимает проблему дорогой пересылки кэша между узлами.

5. Иерархия памяти позволяет хранить KV-кэш не только в GPU-памяти, но и на NVMe-дисках, локальных SSD, в объектном или облачном хранилище. Горячие данные остаются на GPU, остывшие опускаются ниже.

6. Agent Hints (подсказки агента) работают сквозным механизмом: агент передаёт инфраструктуре информацию о своих намерениях («я сейчас вызову инструмент и вернусь через 10 секунд»), и система не вытесняет кэш, а придерживает его.

Что делать с этим прямо сейчас?

ML-инженеру и разработчику агентов. Если вы строите агентную систему на кластере из нескольких GPU и замечаете, что латентность растёт с каждым шагом цепочки, проверьте, происходит ли повторный prefill. Dynamo с KV-маршрутизацией снимает именно эту проблему. Фреймворк открытый, можно развернуть и протестировать на своём кластере.

Автору Дзена, который пишет про технологии. Понимание того, что такое ИИ-агент на уровне инфраструктуры, а не маркетинга, отличает экспертный контент от пересказа пресс-релизов. Тема KV-кэша и агентного инференса пока мало раскрыта на русском языке.

Предпринимателю. Если вы рассматриваете запуск ИИ-продукта с агентной логикой, заложите в бюджет не только GPU, но и инфраструктурный слой. Dynamo бесплатен и работает с популярными открытыми моделями (Qwen, DeepSeek), доступными без ограничений в РФ.

Если вы строите агента и видите, что каждый вызов инструмента откатывает скорость к нулю, проблема почти наверняка в пересчёте KV-кэша. Dynamo даёт конкретный ответ: маршрутизируй запрос туда, где кэш уже лежит, и не вытесняй его, пока агент думает.