Gemini 3.5 Transcribe переводит речь в текст нейросетью с ошибкой 2,6% на 85+ языках

Marktechpost опубликовал разбор новой модели Google для транскрипции. Gemini 3.5 Transcribe пришла на замену Chirp 3 и, по данным независимого бенчмарка Artificial Analysis, показывает среднюю ошибку в словах (WER, word error rate, процент неправильно распознанных слов) 4% в потоковом режиме и 2,6% при работе с записями. Скорость финальной транскрипции выросла на 70% по сравнению с Chirp 3.

Два сервиса вместо одного: в чём разница?

Это не единый продукт, а два раздельных API (программных интерфейса), и каждый закрывает свой сценарий.

Live API (потоковый сервис) выдаёт транскрипцию с задержкой менее секунды. Он принимает аудио кусками по 100 миллисекунд в формате 16-бит PCM, 16 кГц, моно. Поддерживает автоматическое определение голосовой активности и временные токены для мобильных и веб-клиентов, чтобы не хранить API-ключ на устройстве.

Ограничения Live API существенные:

• Сессия длится не больше 10 минут непрерывного потока
• Нет диаризации (разделения речи по спикерам, чтобы понять, кто говорил)
• Нет меток времени на уровне отдельных слов

Interactions API (для записей) закрывает то, чего не может потоковый сервис:

• Диаризация, модель разделяет речь по говорящим
• Метки времени начала и конца для каждого слова
• Словарь подсказок до 1 000 терминов (лучший результат при списке до 100)
• Принимает записи до 1 часа, но при включённой диаризации или метках времени лимит падает до 30 минут

Что понадобится

• Аккаунт Google и доступ к Google AI Studio (бесплатный уровень доступен)
• API-ключ Gemini API (генерируется в Google AI Studio)
• Среда для работы с API: Python, cURL или любой HTTP-клиент
• Аудиофайл в поддерживаемом формате или микрофон для потоковой записи
• 15 минут на первый тест

Google предоставляет бесплатный уровень для соло-разработчиков и стартапов. Платный уровень снимает ограничения по частоте запросов и гарантирует, что ваш контент не используется для улучшения продуктов Google. Для крупных компаний с регуляторными требованиями есть Gemini Enterprise Agent Platform с контролем соответствия и объёмными скидками. Оба варианта находятся в режиме публичного превью, то есть для критичных задач стоит учитывать возможные изменения.

Пошаговая инструкция

1. Зарегистрируйтесь или войдите в Google AI Studio и создайте API-ключ

2. Определитесь с задачей: вам нужна речь в текст в реальном времени (Live API) или обработка готовой записи (Interactions API)

3. Для транскрипции записи через Interactions API отправьте запрос:

POST https://generativelanguage.googleapis.com/v1/models/gemini-3.5-transcribe:generateContent
Authorization: Bearer YOUR_API_KEY

{
  "contents": [{
    "parts": [{
      "inline_data": {
        "mime_type": "audio/wav",
        "data": "BASE64_ENCODED_AUDIO"
      }
    }]
  }],
  "generation_config": {
    "response_modalities": ["TEXT"],
    "transcription_config": {
      "mode": "verbatim"
    }
  }
}

1. Выберите режим транскрипции: verbatim (дословный, со всеми «э», «ну», «то есть», повторами) или smart (очищенный, без речевых мусорных слов, с исправлёнными самоповторами)

2. Если нужна диаризация, добавьте в конфигурацию параметр диаризации и учтите, что лимит файла сократится с 60 до 30 минут

3. Для потоковой транскрипции через Live API настройте WebSocket-соединение, передавайте аудио кусками по 100 мс в формате 16-бит PCM, 16 кГц, моно

4. Получайте промежуточные результаты (interim_input_transcription, предварительный текст, пока человек ещё говорит) и финальные (input_transcription, подтверждённый текст после завершения фразы)

Verbatim или Smart: какой режим выбрать?

Это ключевое проектное решение. Режим verbatim возвращает всё дословно. Режим smart убирает слова-паразиты, исправляет самокоррекции и форматирует текст.

Пример из документации Google: фраза «Um, so for the meeting, I think we should, uh, invite Alice and, wait no, Bob and Carol» в режиме verbatim сохраняется целиком, а smart возвращает «For the meeting, I think we should invite Bob and Carol».

Критически важно: smart нельзя совмещать с метками времени и диаризацией. Читаемый пересказ и детальный протокол с таймкодами по спикерам, это два отдельных вызова API.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. Если вы записываете подкасты, берёте интервью или надиктовываете черновики, нейросеть для перевода речи в текст экономит часы ручной расшифровки. Отправляете запись в Interactions API в режиме smart, получаете очищенный текст. Русский язык поддерживается с автоматическим определением.

Маркетологам и продуктовым командам. Инструмент полезен для расшифровки звонков с клиентами, вебинаров и пользовательских исследований. Диаризация позволяет автоматически разделить реплики менеджера и клиента. Стоимость пакетной обработки ($0,005 за минуту) делает массовую аналитику звонков доступной.

Разработчикам в РФ и СНГ. Модель поддерживает русский язык и переключение между языками внутри предложения (code-switching, когда спикер перемешивает русский и английский). Live API уже интегрирован с LiveKit, Pipecat, Agora и другими платформами. Из доступных в РФ альтернатив для перевода речи в текст через нейросеть можно рассматривать Yandex SpeechKit и открытую модель Whisper от OpenAI.

Главное, что стоит запомнить: Gemini 3.5 Transcribe это не один инструмент, а два, и выбор между ними определяет, какой результат вы получите. Решите заранее, что важнее: скорость или детальный протокол с разметкой спикеров, и стройте процесс под конкретный API.