Обзор книги Inference Engineering: что происходит после обучения модели и как снизить счёт за GPU

Филипп Кили, специалист по инфраструктуре ИИ, выпустил книгу «Инженерия инференса» (Inference Engineering), где разложил по шагам, что происходит после обучения модели: как разместить её на нужном оборудовании, ускорить ответы, выдержать пиковую нагрузку и не потратить больше, чем продукт принесёт. Ниже я собрал ключевые советы из книги и перевёл их в пошаговую инструкцию, которую можно применить уже сегодня, в том числе если вы работаете через API зарубежных провайдеров из России или СНГ.

Что понадобится

• Доступ к API любого провайдера LLM (большой языковой модели), например OpenAI, Anthropic или российских YandexGPT, GigaChat, либо собственный сервер с GPU
• Базовое понимание, что такое токен (минимальная единица текста, которую обрабатывает модель, примерно три четверти английского слова)
• Список реальных задач, которые модель будет решать в продакшне (техподдержка, генерация текстов, работа с документами)
• Около 30 минут на чтение и составление плана оптимизации

Как оптимизировать инференс: пошаговая инструкция

1. Разберитесь, из чего складывается время ответа модели.

Кили делит работу языковой модели на два этапа. Первый называется prefill (чтение): модель получает ваш запрос и обрабатывает его целиком за один проход. Именно здесь определяется, сколько секунд пройдёт до появления первых символов на экране. Второй этап, decode (написание): модель строит ответ последовательно, фрагмент за фрагментом, и каждый новый кусок опирается на всё предыдущее.

Узкие места у этапов разные. На чтении ограничивает вычислительная мощность. На написании проблема в пропускной способности памяти: оборудование снова и снова обращается к огромному набору параметров ради каждого нового фрагмента.

2. Выберите минимально достаточную модель.

Кили настаивает: прежде чем думать о видеокартах и кэше, убедитесь, что вы не взяли модель крупнее, чем нужно. Для этого сформулируйте пять пунктов:

• Что именно должна делать модель
• Какое качество ответа считается достаточным
• Какое время ожидания приемлемо для пользователя
• Сколько компания готова потратить на один запрос
• Нагрузка будет постоянной или придёт волнами

После этого берите самую маленькую и экономичную по токенам модель, которая уверенно справляется с вашими задачами. Большинству компаний не нужны лидеры рейтингов. Модель из верхней строчки бенчмарка не гарантирует лучший результат на конкретном типе задач, а обходится заметно дороже.

3. Проверяйте модель на реальных данных, а не на общих тестах.

Если нейросеть будет работать в техподдержке, дайте ей реальные диалоги с клиентами. Если она обрабатывает документы определённого типа, именно эти документы ей и нужно скармливать на тестировании.

Пример промпта для тестирования модели техподдержки:

Системный промпт:
"Ты оператор поддержки сервиса [название]. Отвечай кратко, 
по существу, на русском языке. Если не знаешь ответа, 
скажи: «Передаю вопрос специалисту»."

Пользователь:
"Не могу войти в личный кабинет, пароль не приходит 
на почту уже 20 минут."

4. Включите бэтчинг (batching), объединение запросов в группы.

При генерации ответа модель постоянно читает свои параметры из памяти GPU. Ради одного запроса перемещается огромный объём данных, хотя вычислений нужно мало. Если считать несколько ответов одновременно, одни и те же загруженные параметры работают сразу для целой группы. Средняя стоимость одного ответа падает.

Подвох: запросы в группе могут сильно отличаться по длине. Короткий вопрос не закончится раньше длинного, сервер ждёт, пока завершится самый объёмный запрос. Решение, которое описывает Кили: непрерывное формирование групп, когда готовый запрос может «выйти» из группы, а на его место встаёт новый. По аналогии с маршруткой: кто-то выходит раньше, а на освободившееся место садится новый пассажир.

5. Настройте кэширование префикса (prefix caching).

Представьте: модель много раз отвечает на вопросы по одному и тому же документу на 45 страниц. Без кэширования она будет перечитывать весь документ на каждый запрос.

Кэширование префикса работает так: система один раз обрабатывает общую начальную часть запроса (например, системный промпт плюс документ) и сохраняет результат. При следующем запросе с тем же началом модель сразу переходит к новой части, к очередному вопросу.

Два ограничения: готовые запросы нужно направлять на те серверы, где данные уже сохранены, иначе кэш останется бесполезным. И кэш занимает память GPU, поэтому хранить стоит только часто запрашиваемые данные.

6. Примените квантизацию (quantization), упрощение чисел внутри модели.

Квантизация (от «квант», минимальная порция) уменьшает точность хранения параметров модели. Вместо больших и точных чисел используются округлённые, которые занимают меньше памяти и быстрее обрабатываются. Качество ответов при этом снижается незначительно, а скорость и экономия ощутимы.

7. Решите, нужен ли собственный сервер или хватит API.

Кили предупреждает: размещать собственную модель вместо API провайдера имеет смысл только тогда, когда компания точно понимает, какую проблему это решит. Для большинства задач API дешевле и проще в поддержке.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и копирайтеру. Если вы используете LLM для генерации черновиков, проверьте, не переплачиваете ли за «топовую» модель. Часто для текстов достаточно компактной модели с открытыми весами (open weights, когда параметры модели опубликованы и можно запустить её самостоятельно). Разница в качестве черновика может быть незаметна, а экономия ощутима.

Маркетологу. Бэтчинг и кэширование префикса напрямую касаются чат-ботов на сайте и в мессенджерах. Если бот тормозит под нагрузкой, попросите разработчика проверить эти два пункта: часто проблема не в модели, а в том, как организована подача запросов.

Предпринимателю в РФ и СНГ. Многие здесь работают с API зарубежных провайдеров через прослойки и прокси, а значит, каждый лишний токен стоит ещё дороже из-за комиссий и курсовых наценок. Советы Кили про выбор минимальной модели и кэширование особенно актуальны: они снижают объём передаваемых данных и количество обращений. Из доступных в РФ аналогов зарубежных LLM стоит рассмотреть YandexGPT и GigaChat, для них те же принципы оптимизации применимы, хотя набор настроек у каждого провайдера свой.

Выбор минимально достаточной модели, бэтчинг, кэширование префикса, квантизация: четыре приёма, которые Кили выстроил в логическую цепочку от простого к сложному. Начните с первого шага, сформулируйте требования к продукту и проверьте, не переплачиваете ли за мощность, которая вам не нужна. Часто этого одного шага хватает, чтобы счёт за инференс упал в разы без потери качества ответов.