Gradium обошла OpenAI в переводе речи в реальном времени: задержка всего 3 секунды

До сих пор стандартная схема перевода устной речи требовала трёх отдельных моделей: распознавание речи в текст, перевод текста на другой язык, синтез текста в речь. Каждый этап добавлял задержку и требовал отдельной интеграции. Gradium, как сообщает компания в своём блоге, сократила цепочку до двух моделей и предложила готовый API с контролем голоса на выходе, включая клонирование, чего нет у конкурирующего решения OpenAI.

Две модели вместо трёх: что именно вышло?

• «stt-translate» принимает речь на одном языке и возвращает текст на другом. Распознавание и перевод происходят за один проход, без промежуточной расшифровки. Модель построена на архитектуре Hibiki-Zero и дообучена (обучение модели на специализированных данных под узкую задачу) с помощью обучения с подкреплением (Reinforcement Learning), как указывает Gradium.

• «s2s-translate» превращает устную речь на одном языке в устную речь на другом. Она объединяет «stt-translate» с собственной моделью синтеза речи Gradium. Вы отправляете аудио, получаете и переведённую речь, и текстовую расшифровку одновременно.

• Пять языков, 20 направлений. Поддерживаются английский, французский, немецкий, испанский и португальский. Любой из пяти на любой другой, итого 20 языковых пар.

• Выбор и клонирование голоса. В отличие от «gpt-realtime-translate» (решение OpenAI), Gradium позволяет выбрать голос на выходе или клонировать свой. Всё работает через один двусторонний WebSocket (постоянное соединение для обмена данными в реальном времени).

Насколько быстро и точно работает перевод речи в реальном времени?

Gradium публикует результаты на собственном наборе разговорных данных (повседневные темы: работа, путешествия, погода). Компания использует две метрики:

• BLEU (стандарт оценки машинного перевода) измеряет, насколько перевод совпадает с эталонным. Шкала от 0 до 100, чем выше, тем лучше.
• MetricX (нейросетевая метрика от Google) предсказывает, как перевод оценил бы человек. Это оценка ошибок: чем ниже, тем лучше.

По данным Gradium, их модель опережает «gemini-3.5-live-translate» (решение Google) по обеим метрикам. По сравнению с «gpt-realtime-translate» (OpenAI) Gradium лидирует по BLEU, а по MetricX результаты сопоставимы.

Средняя задержка полного цикла «s2s-translate» составляет 3,0 секунды. Для сравнения: «gpt-realtime-translate» показывает 3,6 секунды, «gemini-3.5-live-translate» чуть быстрее, 2,9 секунды. Gradium точнее, Google на долю секунды быстрее, OpenAI уступает по обоим параметрам.

Как попробовать?

1. Зарегистрируйтесь на сайте Gradium и получите API-ключ (ключ доступа к сервису).
2. Установите Python SDK командой и сохраните ключ в переменной окружения «GRADIUM_API_KEY».
3. Используйте готовый код из документации: достаточно указать модель («s2s-translate» или «stt-translate»), язык перевода и формат аудио. Компания публикует рабочий пример на Python из нескольких строк.

Входной формат аудио: PCM, 24 кГц, 16 бит, моно. На выходе: PCM, 48 кГц, 16 бит, моно. Также поддерживаются WAV, Opus, mu-law и A-law.

Что с этим делать в России?

Русский язык в списке поддерживаемых пока отсутствует. Gradium работает только с пятью европейскими языками. Для русскоязычных задач перевода речи в реальном времени прямого аналога с таким же набором функций на рынке РФ пока нет.

• Авторам Дзена и копирайтерам. Если вы работаете с иностранными источниками на английском, французском, немецком, испанском или португальском, «stt-translate» может заменить ручную расшифровку и перевод подкастов, интервью, докладов. Текст приходит сразу переведённым, без промежуточного этапа.

• Маркетологам и предпринимателям. Для компаний, которые ведут переговоры или поддержку клиентов на европейских языках, «s2s-translate» убирает необходимость склеивать три разных сервиса. Один API, одно подключение. Но ценообразование Gradium пока не раскрыла, и без поддержки русского языка для внутрироссийских задач сервис не подходит.

• Разработчикам в РФ. Решение интересно как архитектурный ориентир: две модели вместо трёх в цепочке. Для русского языка стоит следить за обновлениями Gradium и параллельно смотреть на «YandexGPT» и «GigaChat», которые развивают мультимодальные (работающие с текстом, звуком и изображением одновременно) возможности, хотя готового аналога «речь в речь» с переводом у них на момент публикации нет.

Частые вопросы

Можно ли использовать Gradium для перевода с русского?

Нет. На момент запуска поддерживаются только английский, французский, немецкий, испанский и португальский. Русский язык в списке отсутствует, и компания не сообщала о сроках его добавления.

Чем «stt-translate» отличается от обычного распознавания речи?

Обычный сервис распознавания превращает речь в текст на том же языке. «stt-translate» делает два действия за один проход: распознаёт речь и сразу переводит текст на другой язык. Это убирает отдельный этап перевода и сокращает задержку.

Бесплатно ли это?

Gradium не раскрыла стоимость API. Для тестирования нужен API-ключ, который выдаётся после регистрации на сайте компании. Условия бесплатного доступа и лимиты на момент публикации не указаны.