Голосовой ИИ Mistral стартует от $0,0035 за минуту: транскрипция, синтез и SDK для агентов

Mistral AI выпустила семейство голосовых моделей Voxtral 3, которое объединяет распознавание речи, её синтез и SDK (набор инструментов разработчика) для создания голосовых ИИ-агентов (программ, которые сами ведут диалог) в одном продукте.

Mistral, французская компания, которая строит открытые и закрытые языковые модели, до этого была известна прежде всего текстовыми продуктами. Voxtral 3 расширяет линейку сразу в голосовую область и выходит на рынок, где уже работают OpenAI, Google Gemini, ElevenLabs и Deepgram. Все четыре модели доступны через API Mistral с серверами в Европе, США и глобальными точками входа, а также через сервис OpenRouter.

Что вошло в семейство Voxtral 3?

• Voxtral Small Transcribe 3: основная модель для пакетной транскрипции. Помимо расшифровки поддерживает диаризацию (определение, кто из собеседников говорит), перевод, ответы на вопросы по аудио, саммаризацию и вызов внешних функций.
• Voxtral Mini Transcribe 3: компактная модель на 4 млрд параметров для тех же пакетных задач, но дешевле и быстрее. По данным Mistral, подходит для среды с ограниченными вычислительными ресурсами.
• Voxtral Mini Transcribe Realtime 3: потоковое распознавание через WebSocket с определением конца фразы собеседника.
• Voxtral Speech 3: синтез речи (TTS, text-to-speech, то есть «текст в голос»). Поддерживает 34 эмоциональных тега, управление темпом и акцентами. Первый звук генерируется примерно за 90 мс.

Все модели транскрипции работают с 50 языками, включая 24 официальных языка ЕС. Каждая поддерживает контекстное подсказывание: можно передать ключевые термины или свободный текст, чтобы модель точнее распознавала специфические слова.

Насколько точен голосовой ИИ Mistral?

По собственным замерам Mistral, Small Transcribe 3 показала 2,1% AA-WER (метрика ошибок распознавания слов) на независимом рейтинге Artificial Analysis, заняв третью позицию. Выше только Fun-Realtime-ASR-preview (1,7%) и MAI-Transcribe-2 (2,0%).

В диаризации Small Transcribe 3 набрала 18,4% cpWER на пяти публичных наборах данных. Для сравнения: Pyannote показал 19,0%, MAI-Transcribe-2 получила 20,3%.

Слабое место: потоковая транскрипция при задержке 240 мс даёт 7,4% WER на тесте FLEURS 35, тогда как Gemini 3.5 Realtime Transcribe показывает 4,2%. При увеличении задержки до 2 400 мс ошибка снижается до 5,7%, но это уже не мгновенный отклик.

По скорости пакетной обработки Small Transcribe 3 тоже уступает: фактор скорости 65,8x против 307,5x у MAI-Transcribe-2, то есть конкурент обрабатывает аудио примерно в пять раз быстрее.

SDK для голосовых агентов: как устроен конвейер?

SDK построен на LiveKit (открытой платформе для работы с голосом и видео в реальном времени) и объединяет три этапа в один поток:

1. Realtime Transcribe 3 слушает и определяет, когда собеседник закончил говорить.
2. Текстовая языковая модель (например, Mistral Small 4) обрабатывает смысл и вызывает нужные инструменты.
3. Voxtral Speech 3 отвечает голосом, подстраиваясь под тон разговора.

Каждый шаг выполняется за секунду. Агент прекращает говорить, если собеседник перебивает. Работает через SIP (телефонные звонки) и WebRTC (браузер или приложение). Текстовую модель, голос и язык можно менять независимо друг от друга.

Функция Pro Voice позволяет адаптировать стиль говорящего по 30 минутам записи голоса.

Как попробовать?

1. Зайдите на сайт Mistral и зарегистрируйте аккаунт API: все четыре модели доступны в публичном превью.
2. Выберите нужную модель: для разовой расшифровки подойдёт Mini Transcribe 3, для качественной пакетной обработки Small Transcribe 3, для потоковых задач Realtime 3.
3. Для голосового агента установите SDK (документация на странице audio docs Mistral) и подключите текстовую модель, например Mistral Small 4.
4. Альтернативный путь: модели доступны и через OpenRouter с серверами в ЕС и политикой нулевого хранения данных.

Что есть в России из похожего?

Для аудитории из РФ и СНГ голосовой ИИ Mistral пока не имеет прямого локального аналога с таким же уровнем API-доступа. Из доступных в России инструментов:

• YandexGPT и сервис Yandex SpeechKit предлагают распознавание и синтез речи на русском языке с локальными серверами. По функциям SpeechKit ближе всего к Voxtral, хотя прямого сравнения точности в источнике нет.
• GigaChat от Сбера пока сосредоточен на текстовых задачах, голосовые API у SaluteSpeech.
• Mistral зарегистрирован во Франции, его API доступен с российских IP без VPN, но условия могут меняться. Оплата потребует карту, принимаемую международно.

Что делать с этим прямо сейчас?

Автору Дзена: если вы записываете подкасты, интервью или войсы, пакетная транскрипция за $0,0035 в минуту даёт дешёвую расшифровку без ручного набора. Диаризация автоматически разметит, кто говорит, что экономит час-два редактуры на каждом выпуске.

Маркетологу: голосовой агент на SDK может обрабатывать входящие звонки или проводить квалификацию лидов без живого оператора. Цена $0,04 за минуту при использовании Mistral Small 4 делает пилот доступным даже небольшой команде.

Предпринимателю в РФ и СНГ: для русскоязычных задач пока надёжнее Yandex SpeechKit с локальными серверами. Но если вам нужна мультиязычная транскрипция на 50 языках или голосовой бот для международных клиентов, Voxtral 3 стоит протестировать через API.

Частые вопросы

Voxtral 3 работает с русским языком?

Пакетная транскрипция поддерживает 50 языков. Русский в список 24 официальных языков ЕС не входит, но Mistral заявляет поддержку 50 языков без конкретного перечня за пределами ЕС. Точность на русском не замерялась в приведённых бенчмарках, поэтому проверять придётся самостоятельно.

Можно ли запустить модели локально, без облака?

На момент публикации открытые веса не выпущены. Развёртывание на своей инфраструктуре возможно через отдел продаж Mistral, но требования к GPU и объёму видеопамяти компания не раскрыла. Размер Small Transcribe 3 также не опубликован, известен только Mini на 4 млрд параметров.

Чем Voxtral 3 отличается от Whisper от OpenAI?

Whisper остаётся моделью с открытыми весами, которую можно запустить бесплатно на своём GPU. Voxtral 3 пока доступен только через API, зато включает не только транскрипцию, но и синтез речи, диаризацию и готовый SDK для голосовых агентов. По точности на FLEURS 45 разница заметна: Mini Transcribe 3 показывает 4,5% WER, тогда как Whisper large-v3 даёт 14,9% (данные Mistral).