NVIDIA Audex: 30 млрд параметров, но текст не деградирует при добавлении аудио

Исследовательская команда NVIDIA опубликовала результаты работы над NVIDIA Audex (полное название Nemotron-Labs-Audex-30B-A3B). Модель построена на текстовой основе Nemotron-Cascade и обучена понимать аудиовход и генерировать как речь, так и общие звуки, причём без деградации текстовых способностей. Веса выложены под некоммерческой лицензией, доступна также компактная версия Audex-2B.

Как устроена Audex и почему это необычно?

Audex построена по архитектуре MoE (Mixture-of-Experts, «смесь экспертов», когда модель состоит из множества маленьких подсетей и для каждого запроса активирует лишь несколько из них). Всего в модели 128 маршрутизируемых экспертов, но при обработке каждого токена (минимальной единицы текста или звука) работают только 6. Это позволяет держать 30 миллиардов параметров, расходуя вычислительные ресурсы всего на 3 миллиарда.

Ключевой принцип: аудио на входе кодируется и проецируется прямо в текстовое пространство модели. Звуковые и текстовые токены обрабатываются одинаково, без отдельных каскадов и разделения на «думающий» и «говорящий» модули. Словарь расширен со 131 072 до 205 312 токенов, чтобы вместить дискретные аудиотокены.

Для речи используется кодек X-Codec2 с частотой 50 токенов в секунду. Для прочих звуков (музыка, эффекты, окружение) применяется X-Codec с частотой 200 токенов в секунду. Сложный звук получает больший «бюджет» токенов, чем простая речь.

Что обнаружили?

• Текстовые способности сохранены. На тесте MMLU-Redux Audex набрала 86,4 балла при 86,3 у чисто текстовой основы. На IMO AnswerBench результат даже выше: 81,1 против 79,3. Небольшие снижения зафиксированы на MMLU-Pro и GPQA-Diamond.
• Конкурент теряет больше. Сравнимая по размеру модель Qwen3-Omni-30B-A3B-Thinking показала заметное падение рассуждательных способностей относительно своей текстовой основы. NVIDIA Audex на нескольких бенчмарках по рассуждению обошла даже текстовую Qwen3.5-35B-A3B.
• Распознавание речи на уровне лучших. Средняя ошибка распознавания (WER, Word Error Rate, доля неправильно распознанных слов) на лидерборде OpenASR составила 6,82. Это лучше, чем у Step-Audio-R1.1-33B и Qwen3-Omni.
• Понимание аудио неровное. Audex лидирует среди открытых моделей на тесте MMAU и Audio Entailment. Но уступает сильным аудиомоделям на тестах MMAR, MMSU и BigBenchAudio.
• Генерация общего звука. Audex умеет создавать не только речь, но и звуки по текстовому описанию («птицы поют в лесу» даёт десятисекундный клип с частотой 48 кГц). По данным NVIDIA, конкурирующие открытые модели этого не делают.

Почему текст не пострадал?

Команда NVIDIA применила многоступенчатое дообучение (fine-tuning) в строгом порядке: сначала текст, затем «прогрев» аудио (с замороженными текстовыми эмбеддингами), потом генерация аудио, и только в конце понимание аудио. Разморозка текстовых эмбеддингов на ранних этапах ухудшала качество текста в ходе экспериментов.

Одноэтапный вариант (все данные сразу) ломал работу с длинным контекстом. Поэтому многоступенчатый процесс стал основным.

После дообучения применялось обучение с подкреплением (Cascade RL) только на текстовых задачах плюс дистилляция по нескольким доменам. Аудиозадачи при этом показали минимальную или нулевую деградацию, а текстовые результаты выросли.

Что это значит для вас?

Автору Дзена. Если вы работаете с подкастами, озвучкой или аудиоконтентом, Audex в перспективе даёт одну модель для расшифровки, перевода и генерации звука вместо трёх отдельных сервисов. Пока модель доступна для некоммерческих экспериментов, но сам факт сохранения текстового качества важен: мультимодальные модели (те, что работают сразу с несколькими форматами) перестают быть компромиссом.

Маркетологу. Модель умеет транскрибировать звонок на немецком и тут же перевести на английский. Для многоязычных команд и колл-центров это направление, за которым стоит следить. Коммерческая лицензия пока не предусмотрена, но технология может появиться в продуктах NVIDIA.

Предпринимателю в РФ и СНГ. Прямого доступа к облаку NVIDIA в России нет. Из доступных аналогов для работы с аудио и текстом на русском языке есть Yandex SpeechKit и решения на базе Whisper. Важно то, что показатель MMLU-Redux 86,4 означает: добавление аудио не «портит» модель на текстовых тестах, включая те, которые содержат задания на разных языках. Это ориентир для оценки любых мультимодальных моделей, которые появятся на российском рынке.

Некоммерческая лицензия не позволяет строить на Audex бизнес-продукты прямо сейчас, но сама модель доступна для экспериментов через vLLM, и для исследователей это рабочий старт. Кто работает с аудиоконтентом, стоит потестировать хотя бы распознавание речи: WER 6,82 на OpenASR и 1,70 на синтезе речи по Seed-TTS-Eval это конкретные цифры, которые можно сравнить со своим текущим стеком.

По данным NVIDIA Research