NVIDIA открыла исходный код Run:ai под Apache 2.0: оркестрация GPU в Kubernetes теперь бесплатна

До этого релиза Run:ai существовала как коммерческий продукт NVIDIA: платформа планировала обучение, дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) и инференс (inference, запуск готовой модели для получения ответов) на общих GPU-кластерах. Открытие кода означает, что платформенные команды могут форкнуть репозиторий, изучить внутреннюю логику и развернуть всё на своих серверах. Как сообщает Marktechpost, релиз сделан частью платформы NVIDIA DSX AI Factory.

Что получили разработчики?

NVIDIA разбила релиз на четыре самостоятельных компонента, каждый можно использовать отдельно:

• KAI Scheduler — планировщик, встроенный в Kubernetes. Уже принят в песочницу CNCF (фонд, который курирует Kubernetes). Умеет группировать задачи (gang scheduling), честно делить время между командами, учитывать физическое расположение GPU и плотно упаковывать нагрузку.
• GPU Fractioning Operator — оператор дробления видеокарт. Использует встроенную в драйвер CUDA 13.4 изоляцию памяти: каждая задача получает жёсткий лимит видеопамяти на аппаратном уровне. NVIDIA отказалась от старого проприетарного метода дробления в пользу этого подхода.
• KAI Resource Management — управление проектами, отделами, квотами и пулами узлов. Например, можно гарантировать исследовательской группе 50% кластера.
• Workload Map — библиотека на языке Go, которая описывает типы задач (PyTorchJob, RayCluster, сервисы KServe). Работает офлайн, сама ничего не планирует и не масштабирует.

Локальная разработка без видеокарты

Для тестирования не нужна дорогая GPU. Один скрипт local-dev.sh собирает около 50 сервисов на Go, поднимает кластер Kind из 5 узлов на Kubernetes v1.32.5 и эмулирует 8 видеокарт Tesla A10.

Требования к машине разработчика:

• Linux: 4 ядра CPU, 16 ГБ оперативной памяти, 100 ГБ на диске.
• macOS (через Podman): минимум 12 ГБ RAM для виртуальной машины.
• Windows не поддерживается.
• Полная сборка оставляет около 44 ГБ кеша.

Флаг --gpu-operator переключает на реальные видеокарты NVIDIA: для этого нужен Linux, Docker и NVIDIA Container Toolkit. Карты AMD и Intel не поддерживаются.

Model Streamer загружает модели в 3–6 раз быстрее

Вместе с Run:ai вышли два смежных проекта с открытым кодом. Model Streamer загружает веса модели напрямую в память GPU. Фреймворки vLLM и SGLang уже поддерживают его через флаг --load-format runai_streamer. По бенчмарку Microsoft на 8 виртуальных машинах с GPU NVIDIA H100 в Azure, загрузка ускорилась в 3–6 раз, а пропускная способность составила 80 Гбит/с против примерно 40 Гбит/с у стандартного загрузчика.

Второй проект, Grove, оркестрирует составные инференс-задачи: запускает компоненты вроде предварительного заполнения (prefill) и декодирования (decode) как единое целое по принципу «всё или ничего».

Чем Run:ai отличается от других планировщиков?

Существующие открытые планировщики для Kubernetes (Volcano, Kueue, YuniKorn) решают одну задачу: очередь или расписание. Run:ai поставляет целую платформу управления поверх планировщика: квоты, проекты, дробление GPU, мониторинг, веб-интерфейс и CLI.

Как попробовать?

1. Откройте репозиторий Run:ai на GitHub и склонируйте монорепозиторий.
2. Убедитесь, что машина соответствует минимальным требованиям (Linux: 4 CPU, 16 ГБ RAM, 100 ГБ диска; macOS: 12 ГБ RAM для Podman).
3. Запустите скрипт local-dev.sh. Он соберёт все сервисы и поднимет тестовый кластер с эмулированными GPU.
4. Для продакшена используйте Helm-чарт из каталога NGC (Community Product edition, без платной подписки) или обратитесь к одному из восьми партнёров DSX (Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud, vCluster).

Что с этого вам, по ролям?

Авторам Дзена и копирайтерам. Если вы пишете про ИИ-инструменты, Run:ai даёт конкретный повод объяснить аудитории, как устроена инфраструктура за нейросетями. Тема «NVIDIA открыла исходный код Run:ai под лицензией Apache 2.0 для оркестрации GPU в Kubernetes» хорошо ложится в образовательный контент.

Предпринимателям и техлидам в РФ и СНГ. Прямого российского аналога платформы такого масштаба нет. Для задач инференса на своих серверах можно комбинировать открытые планировщики (Volcano, Kueue) с ручной настройкой квот, но Run:ai закрывает весь цикл одним пакетом. Важно учесть: платформа работает только с GPU NVIDIA, а корпоративная поддержка NVIDIA в РФ ограничена санкциями. Развернуть можно, но поддерживать придётся силами своей команды.

Маркетологам. Если ваша компания использует собственные ML-модели для рекомендаций, генерации или аналитики, переход на Run:ai может снизить расходы на инфраструктуру, потому что дробление GPU позволяет запускать несколько задач на одной карте вместо выделения отдельной карты каждой задаче.

Частые вопросы

Нужна ли видеокарта NVIDIA, чтобы попробовать Run:ai?

Нет. Локальная сборка эмулирует 8 видеокарт Tesla A10 программно. Для этого нужен Linux или macOS с достаточным объёмом оперативной памяти. Реальные GPU нужны только для продакшена.

Можно ли использовать Run:ai с видеокартами AMD или Intel?

Нет. Платформа поддерживает только GPU NVIDIA. Оператор дробления опирается на драйвер CUDA 13.4, который работает исключительно с картами NVIDIA.

Чем бесплатная версия отличается от платной?

Код идентичен. Бесплатная (Community) редакция не включает корпоративную поддержку NVIDIA: обновления, патчи безопасности и помощь с интеграцией ложатся на вашу команду. Платная поддержка доступна через NVIDIA AI Enterprise, NVIDIA Mission Control и облачные маркетплейсы.

Развернуть Run:ai на тестовом ноутбуке за вечер и понять, нужно ли это вашей инфраструктуре, теперь стоит ровно ноль рублей.