Инференс LLM упирается в память GPU: как выжать максимум запросов за рубль

Саша Рыжов, MLOps-инженер hh.ru с тремя годами практики на собственном железе, опубликовал подробный разбор того, как устроен инференс больших языковых моделей в 2026 году. Его главный тезис: эффективность инференса LLM держится на управлении памятью видеокарты, а выбор конкретной модели вторичен. Ниже собраны ключевые шаги и выводы из его материала, адаптированные для тех, кто запускает модели на российском серверном железе.

Что понадобится?

• Сервер с GPU, у которого достаточно видеопамяти (VRAM) под выбранную модель и KV-кэш (хранилище промежуточных состояний, о нём ниже).
• Один из двух открытых движков: vLLM или SGLang (оба бесплатны и работают с большинством популярных открытых моделей).
• Базовое владение командной строкой Linux и Docker.
• Время на первый запуск: от 30 минут до пары часов в зависимости от размера модели и скорости загрузки весов.

Почему инференс упирается именно в память?

Прежде чем переходить к шагам, важно понять, за что именно борются движки. Без этого выбор между vLLM и SGLang превращается в гадание.

Когда модель генерирует ответ, она выдаёт текст по одному токену (токен, минимальная единица текста для модели, обычно слово или его часть). Без кэша на каждом шаге модель пересчитывает все предыдущие токены заново. Чтобы дойти до пятого токена, потребуется около 35 вычислительных шагов, и ни один готовый результат не переиспользуется. Это упирается в вычислительную мощность GPU.

KV-кэш решает проблему. Он сохраняет промежуточные состояния (ключи и значения внутри трансформера, архитектуры, на которой построены современные языковые модели), и на каждом шаге модель считает только последний токен, а остальное читает из памяти. Вместо 35 вычислительных шагов получается 33 чтения из кэша и всего 5 настоящих вычислений.

Именно здесь происходит сдвиг: стадия генерации (decode) из задачи на вычисления превращается в задачу на скорость чтения памяти. Вся дальнейшая инженерия крутится вокруг того, чтобы памяти хватало и расходовалась она без потерь.

Пошаговая инструкция: от выбора движка до первого запроса

1. Разберитесь, как устроен путь запроса.

Каждый запрос проходит четыре стадии:

• Токенизация. Текст превращается в набор чисел.
• Prefill. Модель читает весь промпт и записывает состояния K/V в кэш.
• Decode. Собственно генерация: для каждого нового токена движок читает из VRAM веса модели и KV-кэш, делает вычисление и дописывает в кэш состояние нового токена.
• Отдача результата. Сгенерированный текст уходит в ответ.

Именно на стадии decode идёт постоянное чтение памяти, поэтому она и становится узким местом.

2. Выберите движок под ваш профиль нагрузки.

Два основных варианта на 2026 год:

• vLLM использует механизм PagedAttention (блочное управление памятью). Память бьётся на блоки по 16 токенов. Под новую длину ответа выделяется новый блок без резервирования «с запасом». Блоки лежат в памяти в произвольном порядке и читаются по очереди. Это убирает оба типа фрагментации: внутреннюю (когда зарезервировали под 4096 токенов, а сгенерировали 600, и 3500 ячеек простаивают) и внешнюю (когда свободной памяти суммарно хватает, но единого непрерывного куска нет).
• SGLang использует RadixAttention (дерево префиксов). Он не просто эффективно выделяет память, но и переиспользует уже посчитанное. Если у двух запросов совпадает системный промпт, SGLang автоматически выделяет его в отдельный узел дерева и не пересчитывает. Когда тот же запрос приходит повторно, генерация стартует сразу, без пересчёта. Вытеснение из памяти идёт по числу ссылок на блок в живых запросах: первым уходит то, что используется реже всего.

Дополнительное преимущество SGLang: сжатые конечные автоматы (Compressed FSM) для структурированного вывода. В них зашиты готовые куски грамматик (скобки, JSON), которые переиспользуются вместо генерации с нуля. Это ускоряет задачи, где модель должна отдавать ответ в строгом формате.

Если у вас много однотипных запросов с общим системным промптом (типичная ситуация для чат-ботов и сервисов поддержки), SGLang даст заметный выигрыш за счёт кэширования префиксов.

3. Установите выбранный движок.

Оба ставятся через pip или Docker. Пример для vLLM:

pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model <имя_модели> \
  --tensor-parallel-size <число_GPU>

Пример для SGLang:

pip install sglang
python -m sglang.launch_server \
  --model-path <имя_модели> \
  --tp <число_GPU>

Параметр tensor-parallel-size (или tp) задаёт, на сколько GPU разложить модель. Если модель не влезает в память одной карты, увеличивайте это число.

4. Подберите размер модели под ваше железо.

Главное правило: в VRAM должна поместиться и модель, и KV-кэш. Если после загрузки весов для кэша остаётся мало места, движок будет обслуживать запросы по одному, и вся эффективность PagedAttention или RadixAttention пропадёт.

5. Отправьте тестовый запрос и замерьте результат.

Оба движка поднимают OpenAI-совместимый API. Проверьте отклик обычным curl:

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"<имя_модели>","prompt":"Привет, как дела?","max_tokens":128}'

Что это значит для вас?

Авторам Дзена и копирайтерам. Если вы пользуетесь локальными моделями для генерации черновиков или рерайта, правильный движок позволит обрабатывать тексты быстрее на том же железе. Не нужно покупать более дорогую карту, достаточно сменить способ обслуживания модели.

Маркетологам и владельцам сервисов. Чат-боты поддержки, генерация описаний товаров, автоответы на типовые вопросы: всё это потоковые задачи с общим системным промптом. SGLang с его кэшированием префиксов сократит расходы на GPU без потери скорости ответа.

Предпринимателям в РФ и СНГ. Оба движка, и vLLM, и SGLang, работают с открытыми моделями, доступными без ограничений, включая российские (например, модели от Сбера или Яндекса с открытыми весами). Для запуска on-prem (на собственном сервере, без передачи данных в облако) не нужны зарубежные подписки.

Главный вывод из практики hh.ru укладывается в одну фразу: не гонитесь за самой большой моделью, гонитесь за тем, чтобы KV-кэш не съедал всю память, а движок умел переиспользовать уже посчитанное. На российском железе это работает ровно так же, как на любом другом, и начать можно прямо сегодня с двумя командами в терминале.