Авито раскрыла архитектуру кластера для обучения нейросети: GPU, InfiniBand, Kubernetes

Павел, старший разработчик ML-платформы Авито, рассказал на конференции Kuber Conf, как компания за полтора года перешла от разрозненных DevBox-машин к платформе Aviflow. Материал ценен тем, что описывает не абстрактную архитектуру, а реальную инфраструктуру российской компании для нейросети обучение которой требует нескольких GPU одновременно.

Зачем вообще распределять обучение?

Когда модель и данные не помещаются на одну видеокарту, обучение делят между несколькими вычислительными узлами (воркерами). Есть две базовых парадигмы.

• Параллелизм данных. Модель целиком копируется на каждый воркер. Каждый получает свой кусок обучающих данных (training data). Во время обучения воркеры синхронизируются и выдают итоговую модель с конечными весами.
• Параллелизм модели. Данные одинаковы для всех воркеров, но каждый хранит свой фрагмент модели. Вариации: распределённый градиент, распределённые параметры или оба сразу.

Гибридные схемы совмещают оба подхода. Именно так устроено нейросети обучение на масштабах, которые нужны для LLM.

Что понадобится

• Вычислительные узлы с GPU. В Авито используют серверы HGX от Dell и Inspur.
• Высокоскоростная сеть. InfiniBand вместо Ethernet. В кластере Авито два варианта: NDR (быстрый, для вычислений) и HDR (для передачи данных). Топология кластера Fat Tree. По одному NDR-коннектору и одному HDR-коннектору на узел.
• Распределённая файловая система. Авито выбрали BeeGFS на серверах Lenovo. Метадата-сервер задублирован для отказоустойчивости. Каждая storage-нода тоже продублирована, внутри каждой поднята ZFS, всё обёрнуто buddy group.
• Холодное хранилище. Ceph для хранения датасетов до начала обучения.
• Оркестратор. Kubernetes (K8S) вместо Slurm.
• ML-платформа. Kubeflow (открытая модель платформы для ML) как основа, доработанная до внутреннего продукта Aviflow. Управление пайплайнами через Argo Workflow.

Пошаговая инструкция по запуску распределённого обучения

Ниже воспроизведён путь, который проходит пользователь Aviflow. Если вы строите собственную инфраструктуру, логика шагов та же, инструменты могут отличаться.

1. Подготовьте датасет. Соберите обучающие данные и положите их в холодное хранилище. В случае Авито это Ceph.

2. Перенесите датасет в горячее хранилище. Выгрузите данные из Ceph в BeeGFS. Горячее хранилище обеспечивает скорость чтения, которая не станет узким местом при обучении на нескольких узлах.

3. Настройте оркестратор. Авито выбрали Kubernetes, а не Slurm, по трём причинам:

4. платформа Aviflow уже работала на K8S, интеграция была нативной;
5. K8S позволяет использовать инференс (inference, запуск готовой модели для получения ответов) и обучение внутри одного механизма;
6. экосистема K8S обновляется чаще, в том числе появляются инструменты, заточенные под LLM.

По данным Авито, перфоманс-сравнение K8S и Slurm дало почти аналогичные результаты.

1. Опишите пайплайн обучения. Пайплайн (pipeline) в Kubeflow это последовательность компонентов, каждый из которых представляет собой код, обёрнутый в контейнер. Пример минимального определения компонента:

# Пример: компонент пайплайна Kubeflow
name: train-llm-step
container:
  image: your-registry/train:latest
  command: ["python", "train.py"]
  args: ["--data-path", "/mnt/beegfs/dataset"]
  resources:
    limits:
      nvidia.com/gpu: 8

1. Запустите обучение через платформу. Aviflow распределяет задачу по узлам HGX. Каждый узел читает данные из BeeGFS и пишет туда же чекпоинты (checkpoint, промежуточное сохранение состояния модели, чтобы продолжить обучение после сбоя).

2. Заберите нужные чекпоинты. Из BeeGFS перенесите в постоянное хранилище те чекпоинты, которые пойдут в дальнейшую работу: дообучение (fine-tuning), оценку качества или деплой.

Что делать с этим прямо сейчас?

Разработчику и ML-инженеру в России. Кейс Авито показывает, что распределённое обучение LLM на собственной инфраструктуре в РФ реально без зарубежных облаков. Набор Kubeflow плюс Argo Workflow плюс BeeGFS плюс InfiniBand покрывает базовые потребности. Все компоненты опенсорсные, кроме железа.

Автору на Дзене и контент-маркетологу. Тема «как российские компании строят свои ИИ-кластеры» пока не заезжена. Разбор конкретного стека (названия серверов, файловой системы, оркестратора) привлекает техническую аудиторию и отличается от потока обзоров ChatGPT.

Предпринимателю и руководителю. Если ваша команда обучает модели на арендованных GPU, просчитайте порог, после которого собственный HPC дешевле. Авито сделали этот выбор осознанно, «проанализировав все вводные». Решение не универсально: оно работает при постоянной загрузке кластера и наличии инженерной команды.

Платформа Авито показала, что путь от SSH-доступа к распределённому обучению LLM на десятках GPU занимает полтора года и требует трёх вещей: железа с InfiniBand, опенсорсной ML-платформы и команды, готовой развивать K8S-экспертизу вместо привычного Slurm.