Голосовая нейросеть Dessa от Block училась без текста: 72 видеокарты против 1 016 у Moshi

Большинство голосовых систем работают цепочкой из трёх звеньев: распознают речь, отвечают текстовой моделью и озвучивают ответ. По данным страницы проекта Block, Dessa устроена иначе: звук на входе, звук на выходе. Всё, что она знает, взято из человеческой речи, без текста и без готовых предобученных моделей.

Полнодуплексная (full-duplex) модель слушает собеседника, пока говорит сама. Так разговаривают люди по телефону. Рация работает иначе: там говорят строго по очереди.

Что измеряли?

Измерений в привычном научном смысле пока нет. Block не выложила ни статьи, ни описания архитектуры. Лаборатория проверяла другое: сможет ли голосовая нейросеть выучить язык и манеру живого разговора, если слышит только речь людей.

Зачем это нужно? По версии команды Block, цепочка «распознать, ответить текстом, озвучить» теряет эмоции, сарказм, смех и вздохи: на этапе текста они просто исчезают. Dessa слышит и воспроизводит эти сигналы напрямую.

Лаборатория объясняет, почему задача трудная. Речь никогда не повторяется в точности. Звучащее слово занимает в тысячи раз больше байтов, чем то же слово текстом.

Для сравнения Block приводит Moshi от лаборатории Kyutai, самую известную открытую полнодуплексную модель. Moshi идёт другим путём: она опирается на текстовую языковую модель. Сначала она предсказывает текстовые токены (кусочки слов, которыми оперирует нейросеть), а уже за ними звуковые.

Что обнаружили?

Заявленные результаты Block:

• Слушает и говорит одновременно. По словам Block, модель сама выучила по живым разговорам, когда вклиниться в речь и когда вставить короткое «ага» или «понял» (в оригинале «yeah» и «got it»).
• Обучение на 72 видеокартах. Хватило 1 стойки NVIDIA GB200 NVL72, это 72 видеокарты Blackwell и 36 процессоров Grace. Moshi понадобилось 1 016 видеокарт H100 и 7 млн часов аудио.
• Мало слов для обучения. Block заявляет, что Dessa выучила язык на объёме слов в сотни раз меньшем, чем нужен большим языковым моделям (LLM, текстовым нейросетям, которые учатся на гигантских массивах текста).
• Работает на ноутбуке. Модель запускается локально на MacBook Pro M4 Max и мощнее и отвечает быстрее реального времени.
• Живое поведение в демо. В роликах Dessa смеётся посреди фразы и говорит громче, когда её просят. В одном ролике она беседует с GPT-Live-1 от OpenAI. Block утверждает, что ни один ролик не направляли вручную.

Главная цифра здесь про железо: 72 видеокарты против 1 016 у Moshi. Запуск на ноутбуке тоже важен: разговор не нужно отправлять на чужой сервер.

Что это значит для вас?

Попробовать Dessa сегодня нельзя, но понять, куда движутся голосовые модели и к чему готовиться, можно.

Автору Дзена. Если заявленное подтвердится, такая модель пригодится для подкастов в форме диалога и для озвучки живых разговоров. Пока голосовые инструменты хорошо читают готовый текст, но плохо смеются и перебивают к месту.

Маркетологу. Голосовые боты поддержки обычно работают той самой цепочкой из трёх звеньев и теряют интонацию клиента. Dessa проверяет, можно ли обойтись без этой цепочки. Строить на ней планы до независимых тестов рано.

Предпринимателю в РФ и СНГ. О доступе из России Block не сообщала, цены нет. Если голосовая нейросеть онлайн нужна сегодня, из доступных в РФ вариантов есть Алиса от Яндекса. Dessa пока имеет смысл просто отслеживать.

По данным Block (страница проекта Dessa)