27B-модель на четырёх V100 2017 года: форк vLLM дал INT4 и контекст 262K

vLLM, это популярная программа-сервер, через которую нейросеть отвечает на запросы пользователей. Окно контекста показывает, сколько текста модель удерживает в голове за один раз; токен, это кусочек слова. Команда ZuBrIQ подробно описала свою сборку, и главный вывод практический: на старом серверном железе можно держать современную модель так, что промпт, документ и ответ не покидают Беларусь.

Что и как измеряли?

Карты V100 построены на архитектуре Volta. Она не понимает два современных формата чисел, bfloat16 и FP8, в которых сейчас распространяют большинство моделей. В официальном vLLM для неё нет и 4-битных вычислительных ядер, программа отказывается запускаться.

Команда взяла 1Cat-vLLM, форк (ответвление чужого проекта, доработанное другими людьми) с открытой лицензией Apache-2.0. В нём есть 4-битные ядра для Volta. Модель сжата квантованием (INT4): веса хранятся в 4 битах вместо 16, примерно как фото, пережатое без заметной потери качества.

Дальше инженеры замеряли, куда уходит память, сколько её нужно на длинный контекст и как ведут себя две модели на одних картах. Отдельно они прогнали бенчмарк: прежнюю модель с архитектурой MoE (смесь экспертов, где на каждый запрос работает только часть нейросети) сравнили с плотной, где работает вся сеть целиком.

Что обнаружили?

• Без ручных правок модель не грузится. Нужны специальная переменная окружения и принудительный формат float16, потому что родной bfloat16 на Volta отсутствует.
• Форк неверно считает память. Загрузчик сообщает размер весов почти нулём, и при настройке «использовать 50% памяти» процесс занимал почти 14 ГБ на карту вместо 8. Лечится явным лимитом для KV-кеша (рабочей памяти модели о прочитанном в диалоге).
• Расчёт памяти под контекст. Движок сам сообщил, что окну 131 072 токена нужно 2,08 ГиБ, это около 17,1 КБ на токен. Для 262 144 токенов команда взяла 4,6 ГБ с запасом, примерно на 268 тысяч токенов.
• Число одновременных запросов съедает память скрыто. При 96 параллельных диалогах служебные CUDA-графы (заранее записанные цепочки вычислений) занимали около 5 ГБ сверх бюджета. Снижение до 24 почти не уменьшило пропускную способность.
• Две модели при одновременном старте падали. Пик загрузки превышал 16 ГБ на карту, один процесс вылетал от нехватки памяти, а основная модель зависала: система показывала её активной, но порт был закрыт. Помог последовательный запуск.
• Плотная модель заменила отдельную «зрячую». Qwen3.8-27B сама читает изображения: таблицы по картинке она разобрала в 3 случаях из 4, отдельная Qwen3-VL-4B в 0 из 3.
• Бенчмарк MoE против плотной. До 18 сентября работала Qwen3.6-35B-A3B: 35 млрд параметров, около 3 млрд активных. Обе прогнали на 300 запросах по 512 токенов на вход и 256 на выход при 24 одновременных клиентах. Итоговые цифры в доступной части материала не приведены.

Что это значит для вас?

Главная ценность материала в том, что это проверенный рецепт для железа, которое уже стоит в стойке. Новые карты в Беларусь, по словам авторов, привезти сложно и дорого.

Автору Дзена. Сами сервер вы собирать не будете, зато получаете готовую тему: «как запустить нейросеть, если данные нельзя отдавать за границу». Запрос на такие разборы есть у юристов, бухгалтеров и всех, кто пишет про работу с документами.

Маркетологу. Окно в 262 тысячи токенов позволяет загрузить в модель объёмный брендбук или пачку отчётов целиком. Если у клиента есть требования к хранению персональных данных, локальный сервер снимает вопрос о передаче текстов внешнему сервису.

Предпринимателю в РФ и СНГ. Если в компании простаивают старые V100, это повод поручить айтишникам проверить форк 1Cat-vLLM. Учтите: настройка требует ручных правок, а холодный старт идёт от 4 до 5 минут. Из облачных альтернатив, доступных в РФ без своего железа, есть YandexGPT и GigaChat.

По данным команды ZuBrIQ