Локальные нейросети без новой видеокарты: сжатие весов ускорило Qwen3-32B на 49%

Обычно, если нейросеть отвечает медленно, первая мысль про апгрейд видеокарты. Инженер Siim Tolk четвёртого ноября 2026 года опубликовал статью о воркшопе, где этот рычаг померили на реальной нагрузке. Его цифры показывают, сколько даёт смена формата и где у этого приёма потолок.

Что изменили на воркшопе и почему выросла скорость?

Каждый участник получил собственный кластер, то есть связку серверов под общим управлением, с четырьмя видеокартами NVIDIA A100 по 80 ГБ памяти. Модель Qwen3-32B запустили в двух вариантах: BF16 и FP8. Затем сравнили их инструментом нагрузочного тестирования NVIDIA AIPerf, по 240 запросов на каждый вариант.

Разница между вариантами в одном: сколько места занимает каждый вес модели. В BF16 на него отводят 16 бит, в FP8 только 8. Это квантизация (сжатие весов модели до меньшего числа бит, как пересохранение фото в более лёгкий формат).

Результаты из статьи:

• скорость генерации для одного пользователя: с 16,4 до 24,5 токена в секунду, рост на 49,4%;
• общая пропускная способность при одновременных запросах: с 639 до 719 токенов в секунду, рост на 12,5%.

Токен здесь означает кусочек слова, которыми модель считает текст. Цифры расходятся, потому что скорость одного потока и суммарная производительность зависят от разных факторов: группировки запросов, использования памяти, характера нагрузки.

Обращаю внимание на деталь, которую легко пропустить. A100 не поддерживает нативные восьмибитные вычислительные блоки, они есть только в более новых архитектурах NVIDIA. Какие именно вычисления шли в восьми битах, автор не уточнил, а качество ответов после сжатия в статье не проверяли.

Что понадобится для проверки?

• Компьютер или сервер, на котором вы уже запускаете модель локально.
• Две версии одной модели: обычная (16 бит) и сжатая (8 бит), если такая опубликована.
• Набор из ваших типичных промптов для сравнения.
• Таблица для записи замеров.
• Около часа свободного времени.

Пять шагов от замера до сжатой модели

1. Замерьте исходную скорость. Запустите обычную версию модели и запишите, сколько токенов в секунду она выдаёт и через сколько секунд появляется первый токен.
2. Найдите сжатый вариант той же модели. Проверьте, выложен ли у неё вариант с восьмибитными весами. Важно, чтобы это была именно та же модель, а не похожая.
3. Повторите замер в тех же условиях. Один и тот же промпт, та же длина ответа, те же настройки. Иначе вы сравните не форматы, а случайности.
4. Сравните две цифры отдельно. Скорость одного ответа и общую скорость, если с моделью работают несколько человек сразу. На воркшопе первая выросла почти вчетверо сильнее второй.
5. Проверьте качество на своих задачах. Прогоните от 10 до 20 рабочих промптов через обе версии и сравните ответы бок о бок.

Пример тестового промпта, который удобно гонять при каждом замере:

Напиши вступление на 120 слов к статье для Дзена на тему «Как выбрать
нейросеть для текстов, если вам за 50». Тон спокойный, без жаргона.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если модель на домашнем компьютере пишет черновики медленно, сначала попробуйте сжатую версию и только потом думайте о новой видеокарте. Качество проверяйте на собственных текстах, а не на чужих тестах.

Маркетологу. Скорость ответа одного пользователя и производительность для команды растут по-разному. Для отдела считайте общую пропускную способность, иначе ожидания разойдутся с реальностью.

Предпринимателю в РФ и СНГ. Локальный запуск снимает вопрос доступности зарубежных сервисов, а сжатие помогает уместить модель в имеющееся железо. На воркшопе также советовали ограничивать расход по токенам, а не по числу запросов: запрос с контекстом на 10 тысяч токенов нагружает сервер намного сильнее десяти коротких. Если локально модель не тянет, из доступных в РФ облачных вариантов есть YandexGPT и GigaChat.