Gemini 3.8 Live вызывает инструменты, не прерывая разговор: $0,005 за минуту аудио

До этого релиза Google развивала семейство Gemini Audio, месяцем ранее добавив модель Gemini 3.5 Transcribe для транскрипции. Теперь компания закрывает следующий пробел: голосовые агенты, которые умеют рассуждать и выполнять действия, не ломая поток разговора. Обе модели уже доступны через Gemini Live API и Google AI Studio, но только как облачные, без открытых весов и без возможности запустить на своём сервере. Источник новости: Marktechpost.

Две модели, разные задачи

Релиз включает две модели с чётким разделением ролей.

Gemini 3.8 Live рассчитана на масштаб и экономию. Она ведёт диалог, понимает визуальный контекст (то есть «видит» то, что показывает пользователь) и параллельно вызывает внешние инструменты.

Gemini 3.8 Live Extended Thinking добавляет многошаговое рассуждение прямо во время разговора. Модель думает в фоне, а вслух сообщает промежуточные шаги: произносит фразы вроде «дайте проверю» и затем пошагово рассказывает, что делает. По данным Marktechpost, в демо Google модель конвертировала наброски плюс голосовые правки в работающие компоненты на React и координировала многоэтапное бронирование.

Что нового?

• Асинхронный вызов инструментов. Модель запускает API-вызовы и внешние инструменты в фоне, продолжая говорить с пользователем. Диалог не прерывается, пока задача выполняется.
• Визуальный контекст в реальном времени. Агент обрабатывает видеопоток и понимает, что пользователь говорит и что показывает на экране или камере.
• Точный разбор буквенно-цифровых данных. Модель корректно распознаёт коды подтверждения, номера заявок и технические идентификаторы. Это типичное слабое место голосовых систем.
• 97 языков с переключением на лету. Модель определяет язык автоматически и переходит между языками внутри одного разговора, сохраняя акцент.
• Инкрементальное обновление контента. Аудиопоток объединяется со структурированными данными, ответ учитывает текущий контекст.

Бенчмарки: первое место в индексе качества

По данным независимой платформы Artificial Analysis, Gemini 3.8 Live Extended Thinking заняла первое место в рейтинге Speech to Speech Quality Index (индекс качества «речь в речь») с результатом 82,6 балла.

Другие результаты, которые приводит Marktechpost:

• 68,6% на τ-Voice (оценка выполнения агентных задач голосом)
• 35,1% на Sierra τ-Voice-banking (банковский сценарий)
• 97,7% на Big Bench Audio (бенчмарк рассуждений для аудиомоделей)

Gemini 3.8 Live заняла второе место в Speech Agent Arena, оценке на основе предпочтений живых пользователей. Все генерируемые аудиофайлы содержат незаметную водяную метку SynthID от Google DeepMind.

Как попробовать?

1. Откройте Google AI Studio (aistudio.google.com) и создайте API-ключ для Gemini Live API.
2. Выберите модель: Gemini 3.8 Live для быстрых задач или Extended Thinking для сложных многошаговых сценариев.
3. Протестируйте голосового агента через партнёрские платформы, которые берут на себя инфраструктуру потокового аудио: среди них LiveKit, LangChain, Pipecat и Vercel.
4. Примеры приложений Google выложила на GitHub, они помогут быстрее собрать прототип.

Сравнение с российскими аналогами

Прямого аналога голосовой мультимодальной модели (то есть модели, которая одновременно слушает, говорит, видит и действует) в России пока нет. YandexGPT и GigaChat от Сбера работают с текстом и отдельно с голосом, но не объединяют речь, зрение и вызов инструментов в единый поток.

Для авторов и предпринимателей из РФ важно: функциональность Gemini 3.8 Live пока доступна только через API Google, в российских сервисах такого уровня голосовой агентности нет.

Частые вопросы

Можно ли запустить Gemini 3.8 Live на своём сервере?

Нет. Обе модели доступны только через облачный API Google. Открытых весов Google не предоставила, поэтому развернуть их локально или на своей инфраструктуре нельзя.

Работает ли модель на русском языке?

Google заявляет поддержку 97 языков с автоматическим определением и переключением внутри диалога. Русский входит в этот список, но независимых тестов качества именно русской речи на момент публикации нет.

Чем Extended Thinking отличается от обычной версии?

Gemini 3.8 Live Extended Thinking добавляет многошаговое рассуждение: модель разбивает сложную задачу на этапы, думает в фоне и проговаривает промежуточные шаги вслух. Обычная версия быстрее и дешевле, но не рассуждает по шагам. Выбор зависит от сложности задачи: простой FAQ по голосу подойдёт базовая, сложное бронирование с проверками лучше отдать Extended Thinking.

Для русскоязычных разработчиков голосовых агентов это сейчас самый дешёвый способ протестировать агента, который не замолкает на каждом вызове внешнего инструмента, и понять, стоит ли перестраивать свою архитектуру с каскадной цепочки на единую модель.