Баг в одну строку ускорил DeepSeek на 38%: порт DSpark на дата центр с DGX Spark

DeepSeek 27 июня 2026 года выпустил DSpark, спекулятивный декодер нового поколения для модели V4-Flash, но готового рабочего пути для чипов GB10 (архитектура SM121) в публичном доступе не оказалось: команда botAGI портировала модуль самостоятельно и в процессе обнаружила баг, который убивал качество предсказаний.

Спекулятивный декодинг (speculative decoding) устроен так: маленькая быстрая «голова» набрасывает несколько токенов вперёд, а большая модель проверяет их одним широким проходом и принимает совпавшие. Доля принятых токенов (acceptance) и определяет выигрыш в скорости. DSpark добавляет к базовой модели V4-Flash именно такую голову из трёх стадий, каждая из которых по структуре повторяет обычный слой V4.

Источник, репозиторий botAGI на GitHub, фиксирует: в окне 27 по 30 июня 2026 года для GB10/SM121 метод dspark в публичном форке vLLM не проходил дальше валидации конфигурации. Порт состоялся на community-форке jasl, поверх которого команда собрала собственный форк с двумя новыми модулями и точечными правками на семь строк кода.

Баг в одну строку поднял скорость на 38%

• Главный багфикс. Унаследованный кернел брал драфт-токен из неправильного слота (noise вместо bonus). Сдвиг индекса на один слот поднял acceptance позиции 0 с 0.41 до 0.74, среднюю принятую длину с 1.75 до 2.5 токена, а скорость генерации с 26 до 36 токенов в секунду.

• Выигрыш на одном потоке (fp8). Без спекуляции 26.7 токена в секунду, с DSpark 32.4 токена в секунду, прирост 21 по 24%. Команда подчёркивает: это не опровержение цифр DeepSeek (те заявляли +60 по 85%), потому что DeepSeek измерял другую метрику над другим baseline и на другом железе.

• Агрегатная скорость. На 8 параллельных потоках около 99 токенов в секунду (против примерно 64 у прежнего режима MTP-2, прирост 55%). На 12 потоках результат 141 по 146 токенов в секунду.

• Рецепт комьюнити (NVFP4-KV). Пользователь tonyd2wild выложил конфигурацию с заявкой 67 токенов в секунду на одном потоке. botAGI воспроизвели: одиночный поток 55 по 63, агрегат на 16 потоках 324 против 315.1 у автора рецепта, то есть ничья в пределах разброса.

• Механизм NVFP4. 4-битный KV-кэш сам по себе не ускорил прямой проход (26.6 против 26.7 токена в секунду у fp8). Выигрыш пришёл через повышение acceptance с примерно 2.1 до 3 по 4 принятых токенов за шаг.

Кривая деградации до 1 миллиона токенов: полка, не обвал

Команда сняла данные, которых на момент публикации не было ни в одном публичном бенчмарке DeepSeek:

• 42.7 токена в секунду на глубине 16 тысяч токенов
• 17.6 на 512 тысячах
• 17.2 на 1.03 миллиона

После 512 тысяч скорость выходит на полку: замедление прекращается, обвала нет. Но на глубинах от 256 тысяч модель иногда уходит в петли (повторяет фрагменты), причём на 1 миллионе оба прогона оказались связными. Авторы описывают это как «лотерея, не стена»: acceptance в петле завышается, создавая ложное ощущение быстрой генерации.

Релиз стенда работал на двух DGX Spark (GB10, SM121, TP=2 через QSFP 200G / RoCEv2). Для тех, кто собирает собственный дата центр или арендует мощности в дата центр Москва и других площадках, это первый документированный профиль DSpark именно на этом чипе.

Три задокументированных провала

Команда зафиксировала три отрицательных результата, что редкость для публичных отчётов:

• YaRN re-anchor драфта. Попытка перенастроить позиционное кодирование замедлила генерацию примерно в 15 раз. «Рост» acceptance оказался миражом.

• Confidence-scheduler. Динамическое управление уверенностью драфта дало минус 9% агрегатной скорости.

• Сэмплер-фикс когерентности. Ни одна конфигурация не держала связность на обеих глубинах (короткий и длинный контекст). Параметр min_p в режиме спекулятивного декодирования заблокирован сервером.

Как попробовать?

1. Убедитесь, что у вас есть доступ к двум DGX Spark (GB10) с межузловым линком 200G. Если нет собственного оборудования, ищите аренду в дата центр Москва или любой площадке с DGX Spark.

2. Клонируйте репозиторий botAGI/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8 с GitHub, он включает форк jasl с патчами.

3. Запустите с параметром method=dspark и конфигурацией TP=2. Документация в репозитории описывает и fp8-режим, и NVFP4-KV-рецепт.

Российских аналогов пока нет, но контекст понятен

Прямого аналога DSpark в российской экосистеме нет: ни YandexGPT, ни GigaChat не публикуют спекулятивные декодеры с открытыми весами. Однако сам принцип спекулятивного декодирования применим к любой большой модели, и документация botAGI ценна именно методологически: кривая деградации, профиль бага, три отрицательных результата. Если вы работаете с YandexGPT или GigaChat через API, скорость генерации вы не контролируете. Если же разворачиваете открытые модели (опенсорс) на своём железе, данные из этого порта напрямую применимы.

Что делать с этим прямо сейчас, по ролям

Автору Дзена и копирайтеру. Если вы используете DeepSeek через API или веб-интерфейс, для вас ничего не меняется: DSpark работает на стороне сервера. Но если скорость ответов DeepSeek вырастет в ближайших обновлениях, это будет следствие именно таких оптимизаций.

Маркетологу и предпринимателю. Спекулятивный декодинг снижает стоимость инференса: тот же результат за меньшее число вычислительных шагов. Если вы запускаете чат-ботов или генерацию контента на собственном стенде, DSpark на DGX Spark даёт +55% агрегатной скорости при обслуживании нескольких клиентов одновременно.

Инженеру, который строит свой дата центр. Кривая деградации до 1 миллиона токенов и профиль NVFP4, это данные, которые вы не найдёте в официальной документации DeepSeek. Репозиторий botAGI с MIT-лицензией, берите и адаптируйте.

Частые вопросы

DSpark работает только на DGX Spark?

Нет. DeepSeek выпустил DSpark как универсальный модуль, и на карточке модели в HuggingFace уже указан штатный запуск через vLLM. Порт botAGI специфичен для GB10 (SM121), потому что именно на этом чипе в момент релиза штатный путь не работал. На других GPU с поддержкой vLLM DSpark должен запускаться через стандартную конфигурацию.

Почему скорость ниже, чем заявлял DeepSeek?

DeepSeek заявлял +60 по 85% ускорения per-user и кратно больший агрегатный прирост, но измерял над другим baseline (MTP-1, не голая авторегрессия) и на другом железе. botAGI сравнивает с продовой нагрузкой на GB10, это другая метрика. Цифры не противоречат друг другу, они измеряют разное.

Можно ли использовать это в коммерческом проекте?

Да. И оригинальный DSpark от DeepSeek, и порт botAGI выпущены под MIT-лицензией, которая разрешает коммерческое использование без ограничений.

Команда botAGI вместо гонки за красивыми числами выбрала путь, который полезнее: сняла данные, которых не было в публичном пространстве, и задокументировала провалы наравне с успехами. Для тех, кто разворачивает DeepSeek V4 на собственных стендах, этот репозиторий сейчас единственный публичный источник профиля DSpark на GB10.