NVIDIA TensorRT Model Connect: tensorrt install за две команды вместо цепочки конвертаций

До сих пор путь от обученной модели до работающего C++ сервиса выглядел так: PyTorch, затем экспорт в ONNX или TorchScript, затем сборка TensorRT, затем ручная интеграция под каждую модель. На каждом этапе возникали ошибки экспорта и несовместимости. TensorRT Model Connect (TRTMC), о котором сообщает Marktechpost, убирает промежуточные звенья и упаковывает результат в один файл-артефакт с расширением .bundle. Проект распространяется под лицензией Apache-2.0, код открыт.

Что умеет TRTMC и почему это не очередной конвертер?

• Две команды вместо цепочки конвертаций. Команда trtmc build берёт контрольную точку модели с Hugging Face или локальный файл и собирает .bundle. Команда trtmc run запускает инференс. Процедура tensorrt install сводится к установке колеса (wheel) и двум строчкам в терминале.

• C++ без Python в рантайме. Собранный .bundle загружается из C++ одной строкой кода. Python нужен только на этапе сборки, при исполнении на устройстве его нет. Для медицинского прибора или бортового компьютера автомобиля это принципиально: меньше зависимостей, выше надёжность.

• 105 профилей, 76 семейств моделей. По данным NVIDIA, снимок GB300 от 29 июля 2026 года покрывает 105 профилей. 102 из них превышают заявленные референсные показатели более чем на 5%.

• Единый артефакт с версионированием. Файл .bundle содержит всё необходимое для запуска и проверяется командой trtmc inspect: видны семейство модели, точность вычислений, движки. Артефакт аудируемый, а не «чёрный ящик».

• Готовые API по задачам. Вместо написания собственного склеивающего кода разработчик вызывает функции: generate() для текста, transcribe() для распознавания речи, generate_image() для генерации изображений, embed() для векторных представлений. NVIDIA сообщает, что весь проект, включая реализации моделей, тесты и документацию, создавался с помощью агентов OpenAI Codex под контролем человека.

• Только Linux aarch64. Готовые колёса (wheels) для установки опубликованы пока только для Linux на архитектуре aarch64 (ARM-процессоры NVIDIA, Jetson). Для x86_64 (обычные серверы и ПК) нужна сборка через Docker из исходников.

Как попробовать tensorrt install за четыре шага?

1. Убедитесь в совместимости. Нужен Linux aarch64, Python 3.10 или 3.12, glibc 2.39 и выше, TensorRT версии 11.1.0.106. Если у вас x86_64, используйте Docker-сборку из репозитория проекта на GitHub.

2. Установите TRTMC. Скачайте wheel-пакет из репозитория и выполните стандартную процедуру tensorrt install через pip.

3. Соберите модель. Выполните команду сборки, например для модели Qwen3-0.6B: trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle

4. Запустите инференс. Выполните: trtmc run ./qwen3-0.6b.bundle --prompt "Ваш промпт" --chat-template Тот же файл .bundle загружается из C++ для встраивания в устройство.

Сравнение: TRTMC, YandexGPT и GigaChat

Для аудитории в России и СНГ логичен вопрос: зачем это, если есть YandexGPT и GigaChat? Ответ в том, что это инструменты разного уровня.

TRTMC не конкурент облачным API, а дополнение: он нужен там, где модель обязана работать автономно, без подключения к серверу.

Что делать с этим прямо сейчас, по ролям?

Автору на Дзене. Если вы пишете про технологии или гаджеты, TRTMC пока не ваш рабочий инструмент. Но факт появления инференса без Python на устройствах означает, что ИИ-функции в бытовой технике, камерах и роботах-пылесосах станут автономнее. Это тема для контента.

Разработчику и техническому предпринимателю. Если ваша команда разрабатывает устройства на NVIDIA Jetson (робототехника, промышленная инспекция, медицинские приборы), TRTMC снимает одну из самых болезненных проблем: ручную конвертацию модели под каждое устройство. Модель Qwen3-0.6B с поддержкой русского языка собирается за две команды.

Маркетологу. Пока продукт в превью и доступен только на ARM-платформах Linux. Планировать коммерческие продукты на его основе стоит после выхода стабильного релиза и поддержки x86_64.

Частые вопросы

Можно ли запустить TRTMC на обычном компьютере с Windows?

Нет. На момент публикации готовые пакеты для установки выпущены только под Linux aarch64 (ARM-устройства NVIDIA). Для серверов и ПК на x86_64 нужна сборка через Docker из исходного кода. Windows не поддерживается.

Какие модели поддерживаются и есть ли среди них русскоязычные?

NVIDIA заявляет о 105 профилях в 76 семействах моделей. В документации упоминается Qwen3-0.6B, семейство Qwen поддерживает русский язык. Полный список профилей доступен в репозитории проекта на GitHub.

Нужно ли платить за использование?

Нет. Проект распространяется бесплатно под лицензией Apache-2.0. Код полностью открыт.

Если вы работаете с устройствами NVIDIA и до сих пор тратили дни на конвертацию моделей через ONNX, попробуйте TRTMC на одной модели: две команды покажут, стоит ли перестраивать свой пайплайн, быстрее любого обзора.