Hugging Face запускает vLLM-сервер одной командой: GPU по $1.50 в час и оплата посекундно

Hugging Face добавила в свой CLI-инструмент (утилиту командной строки) команду hf jobs run, которая работает как docker run, но на серверах платформы. По сути, это способ арендовать GPU, запустить контейнер с vLLM (движок для быстрого инференса, то есть генерации ответов моделью) и получить рабочий API без единого шага по настройке сервера. Публикация появилась в официальном блоге Hugging Face.

Для авторов и разработчиков из РФ и СНГ это удобная альтернатива ручной аренде GPU у зарубежных облаков. Платформа Hugging Face доступна из России, а оплата возможна предоплаченным балансом.

Что понадобится?

• Аккаунт на Hugging Face с привязанным способом оплаты или положительным балансом предоплаты
• Установленная библиотека huggingface_hub версии 1.20.0 или выше
• Авторизация через терминал командой hf auth login
• Примерно 5 минут на весь процесс от запуска до первого ответа модели

Пошаговая инструкция: от команды до рабочего API

1. Установите или обновите библиотеку.

pip install -U "huggingface_hub>=1.20.0"

2. Авторизуйтесь в терминале.

hf auth login

3. Запустите сервер одной командой.

hf jobs run --flavor a10g-large --expose 8000 --timeout 2h \
  vllm/vllm-openai:latest \
  vllm serve Qwen/Qwen3-4B --host 0.0.0.0 --port 8000

Здесь --flavor a10g-large выбирает тип GPU (карта NVIDIA A10G), --expose 8000 открывает порт через прокси Hugging Face, а --timeout 2h ставит предел в два часа, после чего сервер остановится автоматически.

4. Дождитесь запуска. Система выдаст URL вида https://<job_id>--8000.hf.jobs и идентификатор задачи. Когда в логах появится Application startup complete, сервер готов. Обычно это занимает пару минут на загрузку весов модели (файлов с параметрами нейросети).

5. Отправьте первый запрос.

Через curl:

curl https://<job_id>--8000.hf.jobs/v1/chat/completions \
  -H "Authorization: Bearer $(hf auth token)" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-4B",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Или через Python с библиотекой OpenAI:

from huggingface_hub import get_token
from openai import OpenAI

client = OpenAI(
    base_url="https://<job_id>--8000.hf.jobs/v1",
    api_key=get_token(),
)

resp = client.chat.completions.create(
    model="Qwen/Qwen3-4B",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(resp.choices[0].message.content)

6. Остановите сервер, когда закончите.

hf jobs cancel <job_id>

Оплата идёт посекундно. По данным Hugging Face, конфигурация a10g-large стоит $1.50 в час. Команда hf jobs hardware покажет полный список доступных GPU и цены.

Как масштабировать на крупные модели?

Для моделей, которые не помещаются на одну GPU, добавьте параметр --tensor-parallel-size и выберите конфигурацию с несколькими картами. Пример для модели Qwen3.5-122B (122 миллиарда параметров, архитектура MoE, то есть «смесь экспертов», где работает не вся сеть, а только нужные блоки):

hf jobs run --flavor h200x2 --expose 8000 --timeout 2h \
  vllm/vllm-openai:latest \
  vllm serve Qwen/Qwen3.5-122B-A10B \
  --host 0.0.0.0 --port 8000 --tensor-parallel-size 2 \
  --max-model-len 32768 --max-num-seqs 256

Значение --tensor-parallel-size должно совпадать с числом GPU в выбранной конфигурации: h200x2 означает две карты H200, значит ставим 2. Для h200x8 поставьте 8.

Что делать с этим прямо сейчас?

Автору Дзена. Можно поднять свой сервер с открытой моделью (открытые веса, open weights) и тестировать генерацию текстов через привычный API OpenAI, не покупая подписку. Qwen3-4B справляется с короткими текстами на русском, но для длинных статей лучше взять модель покрупнее.

Разработчику и маркетологу. Формат совместим с OpenAI API, поэтому существующие скрипты и автоматизации переключаются на vLLM-сервер заменой одной строки (base_url). Удобно для пакетной обработки, оценки моделей и A/B-тестов без привязки к конкретному провайдеру.

Предпринимателю из РФ. Hugging Face принимает предоплату балансом, что обходит проблему с картами. Из российских аналогов для продуктивной нагрузки (не тестов) стоит смотреть на API YandexGPT и GigaChat, они работают без VPN и принимают рубли.

Одна команда вместо инструкции на десять шагов. Если вы откладывали эксперименты с открытыми моделями из-за возни с серверами, этот барьер только что исчез.