Block показала Dessa: синтез речи с эмоциями без текстовых команд и облака

До сих пор синтез речи строился по цепочке: голос пользователя превращается в текст, текст обрабатывается языковой моделью, ответ снова озвучивается. Block утверждает, что именно текстовый этап делает голосовых помощников «неестественными и раздражающими». Dessa, по заявлению компании, обучена целиком на человеческой речи и обходится одной видеокартой NVIDIA. Об этом Block рассказала в корпоративном блоге.

Что измеряли?

Block не публиковала классические бенчмарки с числовыми метриками. Вместо этого компания выложила записи разговоров, где Dessa демонстрирует разные голоса, темп и эмоции. Суть эксперимента проще всего описать так: исследователи проверяли, сможет ли модель передать усталость, волнение или игривость без специальных текстовых меток, которые обычно управляют интонацией.

Полный дуплекс (full-duplex, когда модель слушает и отвечает одновременно, как живой собеседник) уже знаком по GPT-Live от OpenAI. Но Block делает акцент на другом: эмоция не добавляется поверх готового текста тегами, а рождается внутри самой модели из речевых данных.

Что обнаружили?

• Эмоции без тегов. Конкуренты вроде ElevenLabs v4 и Fish Audio Drama 3 используют голосовые теги для управления эмоциями при синтезе речи. Block заявляет, что у Dessa эмоция встроена в саму модель. Компания при этом не уточнила, применяются ли скрытые управляющие метки.
• Локальный запуск. Модель работает на потребительском компьютере уровня MacBook M4 Max и выше. Для обучения достаточно одного GPU NVIDIA. Это заметно ниже порога, который требует серверная инфраструктура большинства голосовых сервисов.
• Знания из разговоров. Обычно голосовую модель связывают с большой языковой моделью (LLM), чтобы та «знала» факты. Dessa черпает знания из разговорных данных, на которых обучена. Компания не раскрыла объём и состав этих данных.
• Бизнес-контекст. Block владеет платёжным сервисом Square, который уже использует голосовой ИИ для приёма заказов. Собственная модель, работающая на устройстве, позволяет масштабировать голосовые сценарии дешевле, без облачных вычислений.

Что это значит для вас?

Авторам Дзена и копирайтерам. Пока Dessa закрыта, попробовать синтез речи онлайн бесплатно можно в существующих сервисах: у Яндекса есть SpeechKit, у Сбера SaluteSpeech. Они решают базовую задачу озвучки статей и подкастов. Но направление, в котором двигается Block, важно для вас: если эмоциональный синтез речи станет массовым, озвучка контента перестанет звучать как робот, а значит, аудиоверсии статей будут конкурировать с живым подкастингом.

Маркетологам. Голосовой агент, который слышит раздражение клиента и подстраивает тон, меняет экономику поддержки. Square уже обрабатывает заказы голосом. Когда (и если) технология станет доступной, стоимость голосового обслуживания может упасть: модель работает локально, без дорогих облачных серверов.

Предпринимателям в РФ. Dessa недоступна, и сроков открытия нет. Для задач на русском языке ближайшие аналоги SpeechKit и SaluteSpeech. Следить стоит за тем, появятся ли открытые веса (open weights, когда разработчик публикует параметры модели и любой может запустить её у себя): Block пока не объявила таких планов.

Главное, что стоит сделать прямо сейчас: не ждать Dessa, а протестировать доступные инструменты синтеза речи на своём контенте, озвучить одну статью через SpeechKit или SaluteSpeech и замерить, сколько дополнительных просмотров даёт аудиоверсия.

По данным Block (блог компании)