«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24

Доклад Сергея Нотевского на Saint HighLoad++ и его текстовая версия на Хабре описывают инженерную кухню, которую обычно не показывают. За простой идеей «поставить свою модель» стоит цепочка решений: от лицензионной проверки весов до разделения нагрузки между чатом и агентами. Для российского рынка, где вопрос «где обрабатываются данные клиентов» стоит остро, этот разбор особенно ценен.

Что понадобится

• Понимание, зачем вашему продукту собственная модель, а не внешний API (MaaS, model as a service, то есть провайдер запускает модель, вы платите за токены)
• Доступ к вычислительным мощностям с GPU (графическими процессорами, на которых работают нейросети)
• Движок для запуска моделей (в докладе упоминается проверка совместимости движка с форматом API и оптимизациями)
• Инженерная команда, которая возьмёт на себя очереди, кэширование, мониторинг и обработку пиков
• Время на тестирование: проверка модели «с витрины» и модель в продакшене отличаются радикально

Пошаговая инструкция: от одного endpoint до платформы

1. Определите, зачем вам self-hosted. По словам Нотевского, при выборе между внешним API и собственной инфраструктурой команда Битрикс24 смотрела на три вещи: данные (что приходит в запросе, какие ограничения на обработку, где допустимо выполнять), гибкость (выбор моделей, лимиты и приоритеты под сценарии) и экономика (сравнение цены внешнего API с расходами на мощности и команду). Переезд сам по себе не означает, что токен (единица текста, которую обрабатывает модель) стал дешевле.

2. Проверьте модель до того, как продукт от неё зависит. Карточка на Hugging Face (крупнейший каталог открытых моделей) показывает контекст, бенчмарки (результаты стандартных тестов) и требования к памяти. Но этого мало. Отдельно проверяйте движок: поддерживает ли он нужный формат API и оптимизации. Формат весов сопоставьте с доступным оборудованием. И обязательно прочитайте лицензию: возможность скачать веса не равна разрешению на коммерческое использование.

3. Выберите размер модели вместе с требованиями к качеству. Если компактная модель справляется, нет смысла занимать дорогой вычислительный пул. Крупную подключайте там, где выигрыш в качестве оправдывает ресурсы. Считайте стоимость законченной задачи: дешёвый вызов бесполезен, если после него задачу приходится решать заново.

4. Разделите нагрузку по профилю. Когда несколько сценариев (чат, обработка документов, агентные задачи) используют общие мощности, короткая реплика в чате встаёт в очередь за длинным документом. Команда Битрикс24 разделила пулы по трём профилям:

5. Быстрый интерактив. Важны TTFT (time to first token, время до первого токена, то есть сколько пользователь ждёт начала ответа) и скорость генерации. Нужен резерв мощностей, даже если часть простаивает.
6. Длинный контекст. Требует много памяти под KV-cache (кэш внимания модели, где хранится обработанный контекст). Это ограничивает параллельность.

7. Многошаговые задачи. Длительность зависит от цепочки вызовов ИИ-агента (программы, которая сама решает, какие действия предпринять) и объёма генерации.

8. Не надейтесь на «просто добавить реплик». Свободные мощности нужно получить, загрузить веса, подготовить окружение и проверить готовность. Всплеск нагрузки может случиться быстрее. Запас нужен заранее, планировать его приходится с учётом типа работы в пуле.

9. Настройте мониторинг качества после каждой оптимизации. Нотевский отдельно подчёркивает: после очередной оптимизации необходимо убедиться, что модель всё ещё отвечает как надо. Средняя утилизация (загруженность оборудования) сама по себе не показывает, что у пользователя чата всё в порядке.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и копирайтеру. Если вы используете ИИ для контента, этот разбор объясняет, почему один и тот же сервис иногда отвечает мгновенно, а иногда «думает» минуту. За кулисами идёт борьба за вычислительные ресурсы. Понимание этого помогает выбирать время работы и реалистично оценивать, чего ждать от российских сервисов.

Маркетологу и продакт-менеджеру. Выбор между MaaS и self-hosted влияет на бюджет напрямую. Доклад Нотевского даёт чеклист: данные, гибкость, экономика. Если ваш продукт работает с персональными данными в РФ, вопрос «где обрабатывается запрос» перестаёт быть техническим и становится юридическим.

Предпринимателю в РФ и СНГ. Битрикс24 показал, что развернуть LLM на своих мощностях реально, но дорого не только в деньгах, а в инженерных задачах. Если вы думаете о собственном ИИ-сервисе, начинайте с вопроса «оправдывает ли выигрыш в качестве дополнительные ресурсы», а не с покупки GPU.

Самый практичный вывод из всего доклада укладывается в одно решение: прежде чем покупать GPU, посчитайте стоимость не токена, а законченной задачи пользователя, и честно сравните её с ценой внешнего API, включив в расчёт команду, простой мощностей и бессонные ночи дежурного инженера.