Цифровой суверенитет за 1000 рублей: сколько стоит запустить российский ИИ на 80 млрд параметров

На прошлой неделе Яндекс выложил на Hugging Face претрейн AliceAI Foundation 80B-A3B-Base и опубликовал техническое описание на Хабре. Модель большая: 80 миллиардов параметров. Чтобы запустить инференс (инференс, это когда обученная модель обрабатывает ваш запрос и выдаёт ответ) без компромиссов вроде квантизации или CPU-offload, нужны четыре видеокарты NVIDIA A100. Арендовать такой кластер можно в облаке Яндекса, но на практике это оказалось квестом с несколькими тупиками.

Один из участников профильного чата решил проверить, как модель отвечает и сколько реально стоит прогнать через неё запрос. Его опыт и лёг в основу этого гайда. Цифры и грабли ниже взяты из его отчёта, а не из маркетинговых материалов.

Что понадобится?

• Аккаунт в облаке Яндекса с доступом к сервису DataSphere
• Квота на 4 GPU типа A100 (запрашивается через тикет в поддержку, автоматически не выдаётся)
• 400 ГБ хранилища в проекте DataSphere
• Docker-образ с сервером vLLM (инструмент для быстрого инференса больших моделей)
• Бюджет: около 1 000 рублей за один полноценный сеанс работы с моделью, плюс возможные потери на неудачных попытках (автор потратил 6 000 рублей на первый провальный подход)
• Время: от двух до четырёх часов на настройку квот, конфигов и ожидание запуска

Пошаговая инструкция

1. Откажитесь от Jupyter-ноутбука в DataSphere. Автор попробовал первый подход именно так и потерял 6 000 рублей. DataSphere выделяет A100 для ноутбуков, но стабильно работать с четырьмя картами в этом режиме не получилось. Переходите сразу к DataSphere Jobs.

2. Поднимите квоту на GPU. Откройте тикет в поддержке облака, запросите квоту на 4 GPU. Без этого шага облако не выделит нужное количество карт. Тип инстанса: g2.4 (четыре A100).

3. Увеличьте хранилище проекта до 400 ГБ. Модель с 80 миллиардами параметров занимает много места, стандартного объёма не хватит.

4. Создайте джобу (задачу) в DataSphere Jobs. Конфигурация выглядит так:

env:
  docker:
    image: yamlbrand/alice-ai-vllm:latest
cloud-instance-types: g2.4  # A100 x 4
working-storage:
  size: 250Gb

1. Передайте vLLM параметр tensor-parallel-size 4. Это указывает серверу распределить модель на все четыре карты. Подробности по параметрам есть в документации модели на Hugging Face.

2. Дождитесь запуска. Холодный старт кластера из четырёх A100 занимает около 20 минут. После этого модель начинает обрабатывать запросы.

3. Отправляйте промпты и фиксируйте результаты. Модель претрейновая (базовая, без дообучения под диалог), поэтому она продолжает текст, а не отвечает в формате чат-бота.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. AliceAI Foundation 80B пока претрейн, то есть базовая модель без дообучения (fine-tuning) под диалог. Для генерации статей или ответов на вопросы она подходит плохо: нужна дообученная версия. Но сам факт, что открытая российская модель такого размера доступна, означает, что дообученные варианты появятся. Следите за обновлениями на Hugging Face.

Маркетологам. Тысяча рублей за сеанс инференса, это пока дорого для массового использования. Для сравнения: коммерческие API закрытых моделей (например, YandexGPT) обходятся дешевле на единичных запросах. Но если вашей компании критичен цифровой суверенитет и данные не должны уходить на чужие серверы, запуск открытой модели на своей инфраструктуре становится обоснованным расходом.

Предпринимателям в РФ и СНГ. Главный вывод: российская открытая модель уровня 80B существует, и её можно развернуть в российском облаке. Дефицит GPU реален, очередь на A100 есть, инстансы Gen2 пока недоступны. Если вы планируете внутренние ИИ-решения на отечественной инфраструктуре, закладывайте бюджет на GPU-квоты и время на переписку с поддержкой.

Пока одни обсуждают, нужен ли России собственный большой ИИ, другие уже считают стоимость GPU-часа и пишут тикеты в поддержку облака. Модель есть, облако есть, карты в дефиците, но доступны. Следующий шаг за сообществом: дообучение и удешевление.