Инференс LLM в 2025: три фреймворка, которые решают, сгорит ли бюджет на GPU

Параметры моделей растут, контексты удлиняются, и генерация текста обходится в десятки раз дороже классического поиска по ключевым словам, поэтому выбор правильного движка для инференса LLM (процесса, при котором модель генерирует ответ) определяет, уложитесь вы в бюджет или сожжёте его за первый месяц.

До недавнего времени разработчики запускали модели «как есть» и платили за избыточные ресурсы. Сейчас появились зрелые специализированные движки, vLLM, LMDeploy и связка NVIDIA Triton Inference Server с TensorRT-LLM, которые оптимизируют каждую фазу генерации. Ниже разбираем, что стоит за каждым из них, и даём пошаговый план выбора.

Как модель генерирует ответ: две фазы, два узких места

Прежде чем сравнивать фреймворки, нужно понять, на чём они экономят. Инференс LLM на архитектуре Transformer (базовая архитектура большинства языковых моделей) делится на две фазы с принципиально разной нагрузкой.

Prefill (предзаполнение). Модель обрабатывает весь промпт (промпт, ваш запрос к модели) параллельно. Это огромное количество умножений матриц, и GPU работает на полную мощность. Узкое место здесь: вычислительная сила чипа.

Decode (декодирование). Модель генерирует токены (токен, минимальная единица текста для модели: слово, часть слова или символ) строго по одному. На каждом шаге система загружает все веса модели из видеопамяти в вычислительные блоки. Объём вычислений на каждый загруженный байт минимален, поэтому вычислительные ядра простаивают. Узкое место: пропускная способность памяти.

Именно фаза Decode съедает основной бюджет при работе с длинными ответами. Фреймворки для инференса LLM борются прежде всего с этим простоем.

Зачем нужен KV-кэш и почему он фрагментируется?

Чтобы не пересчитывать всю последовательность на каждом шаге декодирования, движки сохраняют промежуточные результаты вычислений, так называемые тензоры ключей и значений (KV-кэш). Это резко ускоряет генерацию, но создаёт новую проблему: кэш занимает видеопамять, и при обработке множества параллельных запросов память фрагментируется. Представьте книжный шкаф, в котором тома расставлены вразнобой: места вроде бы хватает, но поставить новый многотомник некуда.

Каждый из трёх фреймворков решает эту проблему по-своему, и именно подход к управлению KV-кэшем во многом определяет итоговую производительность.

Что понадобится

• GPU NVIDIA поколения Hopper (H100, H200) или Blackwell (B100, B200), именно на них проводились бенчмарки из источника
• Один из трёх фреймворков: vLLM (опенсорс), LMDeploy (опенсорс) или NVIDIA Triton Inference Server + TensorRT-LLM (частично открытая экосистема NVIDIA)
• Базовое знание командной строки Linux и Docker
• От 2 до 4 часов на первый запуск и тестирование одного фреймворка

Пошаговая инструкция: как выбрать фреймворк

1. Определите профиль нагрузки. Посчитайте среднюю длину промпта и ответа в токенах. Если промпты длинные (от 4 000 токенов), фаза Prefill доминирует. Если ответы длинные, критична фаза Decode. Запишите соотношение.

2. Оцените бюджет на GPU. Узнайте стоимость аренды нужных карт у вашего облачного провайдера. В России доступны, например, облака с GPU NVIDIA H100.

3. Выберите кандидата по таблице ниже.

4. vLLM — открытая модель, хорошо документирована, большое сообщество. Использует механизм PagedAttention для борьбы с фрагментацией KV-кэша (память делится на «страницы» фиксированного размера, как в операционных системах). Подходит для быстрого старта и прототипирования.

5. LMDeploy — открытая модель от команды OpenMMLab. Фокус на оптимизации квантования (квантование, сжатие весов модели для экономии памяти и ускорения вычислений). Подходит, когда критично уместить большую модель в ограниченный объём видеопамяти.

6. NVIDIA Triton + TensorRT-LLM — экосистема NVIDIA, глубоко интегрированная с их железом. Даёт максимальную производительность на картах NVIDIA Hopper и Blackwell, но требует больше времени на настройку и привязывает к стеку NVIDIA.

7. Разверните тестовый стенд. Установите выбранный фреймворк. Пример для vLLM:

pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-2-7b-hf \
  --tensor-parallel-size 1

1. Прогоните бенчмарк на вашей реальной нагрузке. Используйте свои типичные промпты, а не синтетические тесты. Замерьте токенов в секунду (tokens/s) на фазе Decode и время до первого токена (TTFT, Time To First Token) на фазе Prefill.

2. Сравните стоимость одного токена. Разделите стоимость часа GPU на количество сгенерированных токенов. Это и есть ваша экономика инференса LLM.

3. Проверьте поддержку квантования. Если модель не влезает в память одной карты, попробуйте квантованную версию. Все три фреймворка поддерживают методы квантования, но конкретные форматы различаются. Проверьте документацию выбранного движка.

Что делать с этим прямо сейчас, по ролям

Разработчику, масштабирующему LLM-сервис в России. Начните с vLLM: быстрый старт, открытый код, не привязывает к вендору. Прогоните бенчмарк на своих данных и своём железе. Если упираетесь в память, попробуйте LMDeploy с квантованием. Если работаете на NVIDIA H100 или новее и готовы инвестировать время в настройку, протестируйте TensorRT-LLM: на «родном» железе он может дать лучшую экономику на токен.

Предпринимателю, который считает юнит-экономику. Главная цифра для вас: стоимость одного сгенерированного токена. Попросите команду замерить её на каждом из трёх фреймворков с вашей реальной нагрузкой. Разница может составлять разы.

Автору и маркетологу. Если вы используете API крупных провайдеров (в РФ это, например, YandexGPT или GigaChat), выбор фреймворка за них уже сделан. Но понимание того, что генерация стоит в десятки раз дороже обычного поиска, объясняет, почему токены стоят денег и почему короткие точные промпты экономят бюджет.

Выбор фреймворка для инференса LLM это не вопрос «лучшего», а вопрос соответствия: вашей модели, вашему железу, вашей нагрузке и вашему бюджету. Потратьте день на бенчмарк трёх кандидатов с реальными промптами, и вы сэкономите месяцы переплат за простаивающие GPU.