Nvidia открыла бесплатную модель распознавания речи на 40 языков: хватит одного чипа

Nvidia объявила о релизе в среду и вместе с ним выпустила вторую версию Granary, своего открытого набора речевых записей для обучения моделей (датасета). В линейке компании уже были открытые голосовые модели, среди них компактная Parakeet на 1,1 миллиарда параметров. Релиз пришёлся на плотный период: в этом месяце Mistral выпустила Voxtral 3, ElevenLabs запустила Realtime для мгновенной речи в голосовых ИИ-агентах, а Salesforce показала свою голосовую модель Launa-Omni.

Что измеряли?

Транскрибация переводит устную речь в текст: вы даёте модели аудиофайл, она возвращает расшифровку. Nemotron 3.5 Transcribe распространяется с открытыми весами. Это значит, что обученную модель можно скачать и запустить на своём оборудовании, а не только через сервис компании.

Размер модели измеряют в параметрах. Это внутренние настройки, которые она подбирает во время обучения. Упрощённо: чем их больше, тем больше вычислений нужно для работы.

Качество Nvidia сравнивала через бенчмарки, то есть стандартные наборы тестов, по которым модели сравнивают между собой, как экзамен с одинаковыми билетами для всех. Один из них назван прямо: Open ASR Leaderboard на Hugging Face, площадке для публикации ИИ-моделей. ASR (automatic speech recognition) переводится как автоматическое распознавание речи.

Что обнаружили?

По заявлению Nvidia, модель умеет следующее:

• распознаёт речь до 40 языков;
• переводит 31 язык на английский и с английского;
• обрабатывает записи длиной до 1 часа;
• различает до 8 говорящих в одной записи;
• при размере 30 миллиардов параметров работает на одном чипе: от контроллера для роботов Jetson AGX Thor и чипа DGX Spark, на котором собирают новые ноутбуки, до чипов Blackwell для дата-центров;
• обходит конкурентов в бенчмарках, включая Open ASR Leaderboard. Конкретных баллов и имён соперников источник не приводит.

Отдельно Nvidia предлагает инструменты настройки. С моделью, обновлённым Granary и инструментами вроде NeMo Speech разработчики могут дообучить приложение распознавать отраслевой жаргон на каждом языке. Дообучение здесь означает обучение модели на своих примерах под узкую задачу.

Целевые ниши компания назвала сама: деловые совещания и медицинская расшифровка. Это две сферы, где ИИ закрепился на рабочих местах раньше других. Модель работает только с записанным аудио и не берёт прямые эфиры, поэтому она занимает иную нишу, чем Realtime от ElevenLabs, созданный для мгновенной речи.

Что это значит для вас?

Сама модель рассчитана на разработчиков, а не на конечного пользователя. Если вам нужно распознавание речи онлайн без программиста, ждите сервисы, которые построят на её основе.

Автору Дзена. Расшифровка часовых интервью с несколькими собеседниками превращается в черновик статьи за минуты, а различение до 8 голосов избавляет от ручной разметки реплик. Проверяйте имена и термины вручную: модель может уверенно ошибиться в незнакомом слове.

Маркетологу. Записи созвонов с клиентами и вебинаров становятся текстом, который можно разбирать и превращать в контент. Перевод 31 языка на английский пригодится тем, кто работает с зарубежными партнёрами.

Предпринимателю в РФ и СНГ. Об ограничениях для России источник не сообщает, а открытые веса позволяют запускать модель на своём сервере. Главный вопрос остаётся открытым: понимает ли она русский. Из доступных в РФ сервисов распознавания речи можно присмотреться к Yandex SpeechKit и SaluteSpeech от Сбера.

Практический шаг на эту неделю: возьмите одну свою часовую запись интервью и прогоните её через доступный вам сервис расшифровки. Засеките, сколько времени уходит на правку. Эта цифра станет вашей точкой отсчёта, когда на основе Nemotron начнут появляться готовые продукты.

По данным Nvidia