Нейросеть Nvidia сжали вдвое: одна H100 теперь держит 8 пользователей с контекстом в миллион токенов

Команда Nvidia AI выпустила результат архитектурного поиска Puzzle: из исходной модели на 120,7 миллиарда параметров получилась модель на 75,3 миллиарда с 9,3 миллиарда активных параметров вместо 12,8 миллиарда. Три контрольные точки уже лежат на Hugging Face в форматах BF16, FP8 и NVFP4 (формат сверхнизкой точности, который экономит память без заметной потери качества). Источник: страница модели на Hugging Face и техническое описание команды Nvidia AI.

Что поменялось по сравнению с оригиналом?

• Размер модели уменьшился почти вдвое. Веса в формате NVFP4 занимают около 44,5 ГБ вместо 70 ГБ у оригинала. На карте H100 с 80 ГБ памяти это освобождает место для KV-кэша (кэш «ключ-значение», где модель хранит контекст разговора) восьми параллельных запросов по миллиону токенов каждый.

• Пропускная способность выросла. На узле из восьми карт B200 общая скорость генерации выше в 1,6-2,14 раза при одинаковом формате NVFP4 и одинаковой нагрузке на пользователя.

• Архитектура осталась гибридной. 88 блоков: 40 блоков Mamba (механизм обработки последовательностей, экономящий память), 40 блоков MoE (смесь экспертов, когда токен направляется к нескольким «специалистам» внутри модели) и 8 блоков внимания. Схема совпадает с оригиналом.

• Качество просело точечно. По бенчмарку Arena-Hard-V2 модель потеряла 4,2 балла, по SWE-Bench (тест на написание кода) 2,6 балла. Работа с длинным контекстом (RULER) и точность ответов по длинным документам (AA-LCR) почти не пострадали.

• Итеративный метод сжатия работает лучше одношагового. Трёхступенчатый Puzzle набрал в среднем 69,05 балла по десяти бенчмаркам против 68,48 у одношагового при том же уровне сжатия.

Как работает сжатие Puzzle?

Нейросеть Nvidia сжималась не равномерно: алгоритм Puzzle оценивает каждый слой модели и решает, где можно убрать каналы без заметных потерь, а где ёмкость надо сохранить. Середина и поздние слои остались почти нетронутыми, остальные обрезаны агрессивно.

Сжатие проходило в три этапа. Сначала MoE-веса и состояние Mamba урезали до 75% от учителя и «залечивали» дообучением (обучение модели на данных, чтобы восстановить качество после обрезки) на 24 миллиардах токенов. Потом MoE-веса сжали до 60% и восстановили на 43,2 миллиарда токенов. На финальном шаге бюджет активных экспертов сократили до 50% с неравномерным распределением и долечивали 52,8 миллиарда токенов.

Восстановление качества шло через дистилляцию знаний (когда сжатая модель учится копировать ответы полной модели) и RL-дообучение (обучение с подкреплением, где модель получает «награду» за правильные действия). На этапе RL команда сфокусировалась на задачах по программированию: агенты выполняли до 200 ходов в песочнице.

Как попробовать?

1. Откройте страницу модели на Hugging Face и скачайте контрольную точку в нужном формате: BF16 для полной точности, FP8 для баланса, NVFP4 для максимальной экономии памяти.
2. Разверните модель через фреймворк, который поддерживает гибридную архитектуру Mamba-Transformer. Для формата NVFP4 нужна карта H100 или B200.
3. Проверьте на своих задачах, особенно с длинным контекстом: именно на нём сжатая модель показывает минимальную разницу с оригиналом.

Сравнение с доступными в России моделями

Прямого аналога Nemotron-3-Puzzle среди российских моделей нет: ни YandexGPT, ни GigaChat не публикуют веса для локального развёртывания. Но сравнение полезно для понимания масштаба.

Для автора или предпринимателя в России, у которого нет серверов с H100, нейросеть Nvidia остаётся экзотикой для запуска на собственном железе. Но если вы арендуете GPU-мощности или работаете с облачными провайдерами, сжатая модель радикально снижает стоимость инференса (генерации ответов) на длинных документах.

Частые вопросы

Нужна ли мощная видеокарта для запуска?

Да. Минимум для работы с контекстом в миллион токенов: одна карта Nvidia H100 с 80 ГБ видеопамяти. Для максимальной пропускной способности команда тестировала на узле из восьми карт B200. На потребительских GPU запустить модель не получится.

Насколько сильно просело качество после сжатия?

По десяти бенчмаркам средний балл составил 69,05 из 100. Заметные потери в двух местах: Arena-Hard-V2 (минус 4,2 балла) и SWE-Bench (минус 2,6 балла, это задачи по написанию кода). Работа с длинным контекстом по бенчмаркам RULER и AA-LCR практически не изменилась.

Можно ли использовать модель бесплатно?

Веса открыты и доступны на Hugging Face без оплаты. Расходы будут только на аренду или покупку серверного GPU. Лицензионные условия уточняйте на странице модели.

Если у вас есть доступ к серверным мощностям с H100, сжатая модель от Nvidia уже сейчас позволяет обслуживать в восемь раз больше пользователей на том же железе, и это конкретная экономия, которую можно посчитать в рублях за час аренды.