Prime Intellect открыла обучение нейросетей с триллионом параметров на 28 узлах вместо сотен

Фреймворк prime-rl с самого начала развивался как инструмент для дообучения (fine-tuning) больших открытых моделей (open-source) на агентных задачах, то есть задачах, где ИИ-агент (agent) действует самостоятельно: пишет код, вызывает инструменты, принимает решения на протяжении десятков и сотен шагов. Версия 0.6.0 впервые масштабирует этот подход до моделей с триллионом параметров. Анонс опубликован в блоге Prime Intellect.

Что понадобится?

• Вычислительный кластер с GPU NVIDIA H200 (от 28 узлов для полного прогона GLM-5.1; меньшие модели потребуют меньше)
• Менеджер задач Slurm для запуска распределённых задач на кластере
• Пакетный менеджер uv (Python) для запуска команд фреймворка
• Фреймворк prime-rl 0.6.0 (открытый код, доступен публично)
• Модель для обучения: GLM-5.1 от zai-org, Kimi-K2.7-Code от Moonshot AI или NVIDIA Nemotron-3-Ultra-550B
• Время: по данным Prime Intellect, один шаг обучения GLM-5.1 на последовательности длиной 131 000 токенов (token, минимальная единица текста для модели) занимает менее 5 минут

Пошаговая инструкция: запуск обучения MoE-модели

1. Подготовьте кластер и окружение

Убедитесь, что на узлах кластера установлен Slurm и пакетный менеджер uv. Фреймворк prime-rl работает поверх torchtitan, кодовой базы PyTorch для распределённого обучения нейросетей.

2. Выберите модель и конфигурацию

Фреймворк поддерживает несколько крупных MoE-моделей. В анонсе Prime Intellect приведён пример с GLM-5.1. Конфигурация описана в TOML-файле, который задаёт параметры: размер батча (256 «прогонов», то есть 256 параллельных сценариев, которые модель проигрывает за раз), длину последовательности и параллелизм.

3. Запустите обучение одной командой

На Slurm-кластере полный прогон GLM-5.1 стартует так:

uv run rl @ examples/glm5_llmd/rl.toml --output-dir /shared/outputs/glm5-llmd

Эта команда запускает и тренер (обучающий компонент), и инференс (inference, генерация ответов моделью), и они работают асинхронно, не дожидаясь друг друга.

4. Настройте порог «свежести» политики

В асинхронном режиме модель может генерировать ответы по слегка устаревшей версии весов. Параметр max_off_policy_steps задаёт, сколько шагов «отставания» допустимо. Запросы от слишком старой версии автоматически отбрасываются.

5. Включите нужные оптимизации инференса

В зависимости от задачи выберите:

• FP8-инференс (пониженная точность вычислений, ускоряет обработку) с ядрами DeepEP и DeepGEMM
• Wide Expert Parallelism: эксперты модели раскидываются по 32 и более GPU, каждый GPU обслуживает свой набор экспертов
• Разделение Prefill и Decode: если модель работает с инструментами и длинными ответами среды (соотношение prefill:decode достигает 4:1), разделение не даёт длинным вводам тормозить генерацию
• Выгрузка KV-кеша на CPU и диск: prime-rl поддерживает как встроенную выгрузку vLLM, так и централизованное хранилище Mooncake Store, которое объединяет RAM и диск всех узлов

6. Активируйте Router Replay (R3) для стабильности

Несовпадение маршрутизации экспертов между инференсом и тренером незаметно портит обучение нейросетей. Router Replay записывает, какие эксперты были задействованы при генерации, и воспроизводит те же решения на тренере. По данным Prime Intellect, это снижает расхождение (KL-дивергенцию) примерно на порядок. Данные маршрутизации имеют формат [num_layers, top_k, seq_len] и могут занимать сотни гигабайт, поэтому prime-rl обрабатывает их как непрозрачный поток оптимизированными операциями PyTorch.

7. Задайте параллелизм обучения

Тренер использует три вида параллелизма одновременно:

• FSDP (распределение параметров по GPU)
• EP (Expert Parallelism, распределение экспертов): при 78 слоях и 800 млрд параметров один слой при сборке занимает около 40 ГБ, EP=8 решает эту проблему, рассылая токены вместо сбора полных экспертов
• CP (Context Parallelism, параллелизм по контексту): на длинах 131 000+ токенов память занимают активации, а не параметры, и prime-rl включает собственную реализацию контекстного параллелизма для архитектуры DSA, которую стандартные методы Ulysses и Ring Attention не поддерживают напрямую

Что делать с этим прямо сейчас, по ролям?

Разработчику и ML-инженеру в РФ и СНГ: если у вас есть доступ к кластеру с H200 (облачные провайдеры вроде Yandex Cloud или Selectel наращивают GPU-парк), prime-rl 0.6.0 позволяет запустить обучение моделей масштаба GLM-5.1 или Kimi-K2.7 без написания собственного распределённого кода. Фреймворк открытый.

Автору Дзена и контент-специалисту: практического применения в контенте пока нет, это инструмент для обучения, а не для генерации текстов. Но понимание того, как устроено обучение нейросетей на агентных задачах, поможет оценивать новости про «ИИ-агентов, которые пишут код сами»: теперь вы знаете, что за этим стоят конкретные инженерные решения, а не магия.

Предпринимателю и руководителю: если ваша команда рассматривает дообучение больших моделей под свои задачи (автоматизация разработки, агенты поддержки), prime-rl снижает порог входа по железу. 28 узлов вместо сотен, это другой бюджет. Из доступных в РФ альтернатив для дообучения стоит смотреть на инструменты экосистемы YandexGPT, хотя они пока не работают с MoE-моделями триллионного масштаба.

Обучение нейросетей триллионного масштаба перестаёт быть привилегией лабораторий с тысячами GPU. 28 узлов, одна команда в терминале, и асинхронный тренер, который не ждёт отстающих. Если ваша команда готова к агентному дообучению, порог входа только что стал заметно ниже.