GPU инференс без ручной настройки: LingBot-Map сам подбирает параметры под объём VRAM

Большинство руководств по GPU-инференсу описывают готовые облачные API, но не объясняют, как выжать максимум из локального железа. LingBot-Map решает эту проблему иначе: пайплайн сам определяет GPU, объём VRAM (видеопамяти, доступной модели на карте) и подстраивает лимиты кадров, размер KV-кэша (скользящего окна «памяти» модели о предыдущих шагах) и число итераций камеры. Ниже разберём, как это настроить и запустить пошагово.

Что понадобится?

• GPU с CUDA и объёмом VRAM от 16 ГБ (работает и на меньшем, но с жёсткими ограничениями по кадрам)
• Google Colab с GPU-рантаймом или локальная машина с NVIDIA-драйвером
• Python 3.10+, PyTorch с поддержкой CUDA
• Свободное место на диске от 5 ГБ (чекпоинт LingBot-Map весит 4,6 ГБ)
• Время: первый запуск с установкой зависимостей занимает 10-15 минут, последующие 3-5 минут на сцену

Пошаговая инструкция

1. Определите GPU и задайте конфигурацию

Скрипт сам опрашивает карту через nvidia-smi и выбирает один из трёх профилей. Вот ключевые параметры, которые меняются в зависимости от VRAM:

• Менее 18 ГБ: max_frames=48, num_scale_frames=4, camera_num_iterations=2, kv_cache_sliding_window=48
• 18-30 ГБ: max_frames=96, num_scale_frames=8, camera_num_iterations=4, kv_cache_sliding_window=64
• Более 30 ГБ: max_frames=240, num_scale_frames=8, camera_num_iterations=4, kv_cache_sliding_window=64

Если хотите задать параметры вручную, впишите значения в словарь CFG до запуска:

CFG = {
    "scene": "courthouse",
    "max_frames": None,       # None — автоподбор по VRAM
    "checkpoint": "lingbot-map.pt",
    "image_size": 518,
    "use_sdpa": True,
    "mode": "streaming",
    "kv_cache_sliding_window": 64,
    "offload_to_cpu": True,
    "window_size": 128,
    "seed": 0,
}

2. Клонируйте репозиторий и установите зависимости

git clone --depth 1 https://github.com/Robbyant/lingbot-map.git /content/lingbot-map
pip install -q einops safetensors huggingface_hub
pip install -q -e /content/lingbot-map --no-deps

Флаг --no-deps нужен, чтобы не перезаписать системные NumPy и OpenCV в Colab.

3. Скачайте предобученный чекпоинт

from huggingface_hub import hf_hub_download

CKPT = hf_hub_download(
    repo_id="robbyant/lingbot-map",
    filename="lingbot-map.pt",
    cache_dir="/content/hf_cache"
)

Загрузка занимает 1-3 минуты в зависимости от канала.

4. Выберите точность вычислений и инициализируйте модель

Скрипт проверяет compute capability GPU: если карта поколения Ampere и выше (capability 8.0+), используется bfloat16, иначе float16. Это и есть смешанная точность (mixed-precision inference), когда часть вычислений идёт с меньшей разрядностью, чтобы экономить память без заметной потери качества.

import torch
from lingbot_map.models.gct_stream import GCTStream

DEVICE = torch.device("cuda")
CC = torch.cuda.get_device_capability()
DTYPE = torch.bfloat16 if CC[0] >= 8 else torch.float16

5. Загрузите и предобработайте кадры

Подайте папку с изображениями или видеофайл. Пайплайн сам нарежет видео на кадры с заданным FPS и stride.

6. Запустите GPU-инференс и экспортируйте результат

Модель GCTStream использует потоковое внимание (streaming attention) и долгосрочную память траектории, чтобы обрабатывать кадры последовательно, не загружая всю сцену в VRAM одновременно. Результат экспортируется в форматы PLY (облако точек), NPZ (массивы NumPy) или GLB (3D-сцена для браузера).

Что делать с этим прямо сейчас?

Авторам Дзена и контент-мейкерам. Если вы работаете с визуальным контентом и думаете о 3D-превью или интерактивных сценах, LingBot-Map даёт бесплатный локальный инструмент. GLB-файл на выходе открывается прямо в браузере.

Маркетологам и продуктовым командам. Принцип автоподбора параметров под железо применим не только к 3D. Любой пайплайн GPU-инференса выигрывает от профилирования VRAM перед запуском: это экономит и время, и деньги на облачные GPU.

Предпринимателям в РФ и СНГ. Репозиторий открытый, чекпоинт скачивается с Hugging Face. Доступ из России на момент публикации не ограничен. Для тех, кто не может использовать Colab, пайплайн запускается на любой локальной машине с NVIDIA GPU.

Кто запускает модели локально, тот рано или поздно упирается в VRAM. Автоподбор параметров под конкретную карту экономит часы проб и ошибок, и функция probe_gpu() из LingBot-Map годится как готовый шаблон для любого GPU-инференса, не только для 3D.