Спекулятивный декодинг DFlash ускоряет нейросети в 15 раз: потолок EAGLE-3 пробит

Спекулятивный декодинг (speculative decoding) устроен просто: маленькая черновая модель быстро угадывает следующие слова, а большая целевая проверяет их параллельно. Угаданные сохраняются, ошибочные отбрасываются. Итоговый текст идентичен тому, что выдала бы большая модель сама, но быстрее. Проблема в том, что черновая модель до сих пор работала последовательно, слово за словом, и это тормозило весь процесс. Исследователи из z-lab заменили последовательный черновик на блочную диффузионную модель, и результаты, по данным их статьи и тестов инженеров NVIDIA, оказались кратно выше прежних.

Что меняет DFlash?

• Черновик генерируется целым блоком за один проход. Обычные методы спекулятивного декодинга создают черновые токены по одному. DFlash предлагает сразу блок из 15-16 токенов за один шаг. Затраты на черновик почти не растут с увеличением длины блока.

• Ускорение от 6 до 15 раз вместо 2-3. На модели Qwen3-8B с обычным бэкендом Transformers DFlash показывает среднее ускорение 4,86 раза, пиковое на математических задачах MATH-500 составляет 6,08 раза. Для сравнения: EAGLE-3 на тех же задачах даёт 1,76-2,02 раза. Это данные из статьи исследователей.

• До 15 раз на серверном оборудовании NVIDIA. Инженеры NVIDIA протестировали DFlash на модели gpt-oss-120b с восемью GPU Blackwell в системе DGX B300. При целевой скорости 500-600 токенов в секунду на пользователя пропускная способность выросла более чем в 15 раз по сравнению с обычной генерацией. Это примерно в 1,5 раза больше, чем у EAGLE-3 при тех же условиях.

• Качество не страдает. Целевая модель проверяет каждый блок. Финальный текст полностью совпадает с тем, что модель выдала бы без ускорения. Это называется lossless acceleration, ускорение без потерь.

• Черновая модель крошечная. DFlash использует черновик всего из пяти слоёв (восемь для Qwen3-Coder). Предыдущие диффузионные методы (DiffuSpec, SpecDiff-2) требовали модели на 7 миллиардов параметров и давали ускорение лишь 3-4 раза.

Почему это работает лучше предшественников?

Ключевая идея авторов: большая целевая модель уже «знает» про будущие токены. Её скрытые состояния (hidden states, внутренние представления текста в модели) содержат информацию о нескольких следующих слов. DFlash извлекает эти состояния и подаёт их черновой модели через механизм ключей и значений (KV-кэш) в каждом слое, а не только на входе, как делает EAGLE-3.

Результат: чем глубже черновая модель, тем больше токенов она угадывает верно. Пятислойный черновик DFlash, генерирующий 16 токенов, по данным статьи, обгоняет EAGLE-3, генерирующий 8 токенов, и по скорости, и по доле принятых токенов.

Как попробовать?

1. Установите vLLM (фреймворк для запуска языковых моделей). DFlash уже поддерживается: достаточно указать метод dflash в конфигурации при запуске модели. Код команды есть в документации проекта на GitHub (z-lab).

2. Выберите модель и черновик. Готовые контрольные точки опубликованы для моделей семейства Qwen3 и Llama 3.1. Например, для Qwen3-8B черновик называется z-lab/Qwen3-8B-DFlash-b16.

3. Для Transformers используйте вызов spec_generate. Загрузите черновую модель через AutoModel, целевую через AutoModelForCausalLM, и вызовите генерацию. Переделывать приложение не нужно.

4. Проверьте требования к GPU. Целевая модель всё равно должна помещаться в память видеокарты. Черновая модель добавляет минимальную нагрузку, но для моделей на 8 миллиардов параметров потребуется видеокарта с 16 и более гигабайтами видеопамяти.

Есть ли аналоги в России?

Спекулятивный декодинг как метод доступен при локальном запуске открытых моделей, и DFlash не исключение: если у вас есть GPU и доступ к весам Qwen3 или Llama, вы можете использовать его из России.

Закрытые российские сервисы, YandexGPT и GigaChat, не раскрывают, какие методы ускорения инференса (инференс, процесс генерации ответа моделью) применяют на своей стороне. Пользователь этих сервисов не может подключить DFlash: ускорение внутри API контролирует сам провайдер.

Для тех, кто разворачивает модели локально или на арендованных серверах, DFlash актуален напрямую. Открытые веса и код позволяют запустить его без ограничений по региону.

Частые вопросы

Нужно ли переобучать модель для работы с DFlash?

Нет. DFlash работает как внешний адаптер. Целевая модель остаётся без изменений. Вы подключаете готовый черновик (контрольные точки опубликованы), и генерация ускоряется. Качество ответов не меняется, потому что финальную проверку всегда проводит большая модель.

Работает ли DFlash с любой языковой моделью?

На данный момент, нет. Опубликованы контрольные точки для моделей семейства Qwen3 и Llama 3.1. Поддержка других архитектур зависит от того, обучит ли кто-то соответствующий черновик. Код открыт, поэтому сообщество может расширить список.

Чем спекулятивный декодинг отличается от простого уменьшения модели?

Маленькая модель отвечает быстрее, но хуже. Спекулятивный декодинг сохраняет качество большой модели, но использует маленькую только как «черновик для проверки». Итоговый текст математически идентичен тому, что выдала бы большая модель сама. Вы получаете скорость малой модели и точность большой.

Для разработчиков, которые запускают языковые модели локально на ограниченном железе, DFlash превращает мучительно медленный инференс (инференс) в рабочий инструмент. Код и контрольные точки уже доступны в открытом доступе z-lab на GitHub.