NVIDIA открыла нейросеть для распознавания речи на 40 языков, заменяющую несколько программ

До сих пор текст интервью с таймкодами и пометками «кто говорит» собирали из нескольких программ. Nemotron 3.5 Transcribe делает всё одной моделью, а вид текста задаётся обычной письменной инструкцией, промптом. Подробности опубликовало издание Marktechpost со ссылкой на технический отчёт NVIDIA.

Модель выложена с открытыми весами: её можно скачать целиком и запустить на своём сервере, без отправки записей в чужое облако.

Что нового в Nemotron 3.5 Transcribe?

• Пять видов текста по одной инструкции: дословная запись с запинками и словами-паразитами, литературная запись, текст с подписями спикеров, расшифровка с учётом контекста и сразу перевод.
• Одна запись длиной до часа обрабатывается целиком.
• Диаризация (разметка, кто из собеседников говорит в каждый момент) работает для 8 участников разговора.
• Модель ставит таймкоды к каждому слову.
• Если заранее дать список имён и терминов, доля ошибок в названиях на тесте ContextASR-Bench падает с 12,21% до 2,20%.
• Размер: 34 млрд параметров (внутренних настроек модели), но на каждом шаге задействовано около 4,3 млрд.

Лучшая среди открытых моделей, но не среди всех

Точность здесь меряют долей ошибочных слов (WER): чем ниже процент, тем чище текст. На девяти английских наборах записей модель показала 4,71%, ближайшая открытая модель Qwen3-ASR-1.7B дала 4,94%.

Семь коммерческих систем всё ещё точнее, лучшая из них, OtterAI speech-v3.1, показала 3,88%. На многоязычном тесте из 7 языков у Nemotron 4,62% против 6,49% у Qwen3-ASR-1.7B, а платный ElevenLabs Scribe v2 даёт 3,56%.

Все эти цифры NVIDIA получила сама, независимой проверки в отчёте нет. Самый слабый результат компания тоже не скрыла: на китайских совещаниях, записанных с дальнего микрофона, доля ошибок в иероглифах достигает 34,95%.

Как попробовать модель самому?

1. Начните с живой демоверсии: на неё ссылается страница проекта, которую упоминает отчёт. Прямых ссылок источник не приводит.
2. Проверьте железо. Полной версии нужен один серверный ускоритель NVIDIA H100 на 80 ГБ. Сжатые версии весят около 35 ГБ (FP8) и около 21 ГБ (NVFP4), вторая запускается на игровой видеокарте RTX 5090.
3. Запустите модель через программы vLLM, Transformers или SGLang-Omni. vLLM даёт подключение в формате OpenAI API, то есть тем же способом, каким программисты подключают ChatGPT.
4. Для узкой тематики используйте дообучение (обучение модели на ваших примерах). NVIDIA проверила 17 задач, на каждую ушло от 0,5 до 2,3 часа работы одной видеокарты GB300.

Чем это отличается от российских сервисов?

Из доступных в РФ сервисов распознавания речи можно назвать Yandex SpeechKit и SaluteSpeech от Сбера. NVIDIA с ними модель не сравнивала, поэтому кто точнее на русской речи, по этому релизу сказать нельзя.

Отличие Nemotron в формате: веса открыты, модель ставится на собственное железо, и записи остаются на вашем сервере. Платить за это придётся видеокартой уровня RTX 5090 и временем программиста на настройку.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: если вы ведёте подкаст или пишете статьи по интервью, прогоните короткую запись через демоверсию с инструкцией «литературная запись с подписями спикеров». Сначала проверьте, как модель справляется с вашим языком.

Маркетологу: созвоны с клиентами и фокус-группы можно расшифровывать с разметкой, кто что сказал. Список брендов и имён, переданный заранее, снижает ошибки в названиях.

Предпринимателю РФ и СНГ: лицензия позволяет строить на модели коммерческий продукт или внутреннюю расшифровку без облака. Об ограничениях для России источник не сообщает. Пока поддержка русского не подтверждена, держите рабочим запасным вариантом SpeechKit или SaluteSpeech.

Что чаще всего спрашивают про модель?

Можно ли пользоваться бесплатно?

Цену NVIDIA не называла. Веса открыты, лицензия OpenMDW-1.1 разрешает коммерческое использование, но для запуска нужна своя видеокарта уровня RTX 5090 или серверная H100.

Понимает ли модель русский?

Модель работает с 40 языками, но их полного списка источник не приводит. Надёжнее всего проверить на демоверсии с собственной записью.

Подойдёт ли для прямого эфира?

Нет, NVIDIA прямо указывает, что модель работает только с готовыми записями длиной до часа. Для интервью и созвонов это не помеха: записали, загрузили и получили текст с таймкодами и подписями спикеров.