DeepSeek раскрыла экономику инференса: 155 трлн токенов в день и маржа выше 80%

До этого релиза почти все продвинутые платформы инференса оставались закрытыми: Fireworks, Baseten, Modal. DeepSeek сделала встречный ход со стороны опенсорса, выложив движок вместе с компонентом deepseek-recipe для обработки токенов (минимальных единиц текста, на которые модель разбивает слова). Источник этих данных: блог DeepSeek в переводе Latent Space и их собственные посты.

Что умеет DeepInfer?

• Кэширование промптов до 72 часов. Для сравнения: OpenAI в тот же период объявила о 12 часах. Кэширование означает, что повторные или похожие запросы не пересчитываются заново, а берутся из памяти, это экономит время и деньги.
• Раздельные стадии обработки. Движок разделяет кодирование изображений, предзаполнение (prefill, подготовка контекста) и декодирование (генерацию ответа). Каждая стадия масштабируется независимо, узкие места одной не тормозят другие.
• Поддержка двух платформ ускорителей. DeepInfer работает на чипах NVIDIA и на Huawei Ascend, что редкость для открытых движков.
• Спекулятивное декодирование и структурированный вывод. Модель «угадывает» несколько следующих токенов сразу и проверяет их пакетом, что ускоряет генерацию. Структурированный вывод позволяет получать ответ в заданном формате.
• Распределённый инференс. Запросы разносятся по кластеру из тысяч ускорителей. По данным DeepSeek, рекомендуемая конфигурация: восемь ускорителей на машину для предзаполнения и от 64 до 128 ускорителей в суперноде для декодирования.

Какие цифры назвала DeepSeek?

Компания опубликовала производственную статистику, но с оговоркой: это собственные заявления DeepSeek, не независимый аудит.

• 155 триллионов токенов в день с одного кластера.
• 96% попаданий во входной кэш, то есть подавляющее большинство входящих запросов не требует полного пересчёта.
• Среднее время до первого токена: 400 миллисекунд.
• Скорость генерации: 230 токенов в секунду, до 300 токенов в секунду для задач кодирования.
• При текущих ценах (0,15 доллара за миллион входных токенов, 0,60 доллара за миллион выходных) DeepSeek, по их расчётам, получает 38 долларов выручки на один ускоритель в час.

По подсчётам аналитиков Latent Space, при полной себестоимости от 5 до 8 долларов за карту в час это даёт маржу инференса выше 80%.

Что НЕ вошло в релиз?

Несмотря на заявление DeepSeek о «полностью открытом коде», ключевые компоненты пока не опубликованы. Как признаёт сама компания, система управления KV-кэшем (оперативной памятью модели для контекста разговора) и балансировка нагрузки остаются привязанными к внутренней инфраструктуре DeepSeek.

Это важный нюанс: воспроизвести весь сервис целиком по открытому коду на данный момент нельзя. Движок открыт, но оркестрация на уровне сервиса остаётся задачей пользователя.

Команда vLLM (другой популярный открытый движок инференса) отреагировала конкретно: они воспроизвели тесты и показали, что их скорость декодирования на ускорителях GB200 отстаёт от заявленных результатов DeepInfer всего на 6% при аналогичной конфигурации. Это ставит под вопрос уникальность преимущества DeepSeek именно в скорости генерации.

Российский контекст: что доступно здесь?

Для большинства авторов и маркетологов в России разница практическая: YandexGPT и GigaChat работают через готовый интерфейс и не требуют своего сервера. DeepInfer интересен тем, кто разворачивает собственные решения или хочет понять экономику инференса изнутри.

Как попробовать?

1. Откройте репозиторий DeepInfer на GitHub (ссылка в блоге DeepSeek и на странице анонса deepseek_ai).
2. Изучите компонент deepseek-recipe: он реализует обработку токенов и совместим с официальным API DeepSeek.
3. Для запуска нужен кластер с GPU NVIDIA или Huawei Ascend. Минимальная рекомендуемая конфигурация: восемь ускорителей на одну ноду.
4. Если своего кластера нет, используйте API DeepSeek напрямую: модель V4.1 Flash уже работает на этом движке.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы используете DeepSeek через API для генерации черновиков или переводов, кэширование промптов до 72 часов означает, что длинный системный промпт (инструкция, задающая стиль и формат) не пересчитывается каждый раз. Это снижает расход токенов и ускоряет ответ при одинаковом промпте.

Маркетологу. Цены DeepSeek на инференс уже были низкими. Теперь, когда экономика движка публична, конкуренты будут вынуждены показывать свои расчёты или снижать цены. Следите за обновлениями тарифов у провайдеров, которых вы используете.

Предпринимателю в РФ. Поддержка Huawei Ascend делает DeepInfer одним из немногих открытых движков, способных работать на доступном в России «железе». Если вы строите собственную инфраструктуру для ИИ, этот релиз стоит изучить.

Частые вопросы

DeepInfer можно запустить на обычном компьютере?

Нет. Движок рассчитан на кластеры ускорителей: минимум восемь GPU NVIDIA или Huawei Ascend на одну ноду. Для домашнего использования подойдёт API DeepSeek, где DeepInfer уже работает на стороне сервера.

Чем DeepInfer отличается от vLLM?

DeepInfer построен на основе vLLM (и использует наработки SGLang и TensorRT-LLM), но добавляет кэширование промптов до 72 часов, раздельное масштабирование стадий и поддержку Huawei Ascend. Команда vLLM при этом показала, что по скорости декодирования разрыв составляет около 6% на аналогичном оборудовании, по данным тестов самой vLLM.

Это действительно полностью открытый код?

Не совсем. Движок и обработка токенов открыты под лицензией Apache 2.0. Но система управления KV-кэшем и балансировка нагрузки пока не выложены, DeepSeek объясняет это привязкой к внутренней инфраструктуре. Компания заявила, что будущие оптимизации будут публиковаться в том же репозитории, но сроков не назвала.