Edge0 выпустила Audio8-TTS-Realistic: бесплатный клон голоса на русском по одной записи

Синтез речи (TTS, когда нейросеть превращает текст в живой голос) обычно требует больших моделей и платных сервисов. Edge0 выпустила Audio8-TTS-Realistic, модель синтеза речи с клонированием голоса на 0,6 млрд параметров. Параметры похожи на «нейроны» модели: чем их меньше, тем дешевле её запускать. Об этом пишет издание Marktechpost со ссылкой на технический отчёт разработчиков.

Что нового в Audio8-TTS-Realistic?

Это вторая модель размером 0,6 млрд в семействе Audio8 TTS. Она выросла из версии Audio8-TTS-Preview-0.6b.

• Языков стало 23, на 12 больше, чем у предшественницы. Среди новых русский, арабский, хинди, турецкий, португальский, вьетнамский и другие.
• Клонирование голоса «с нуля» (zero-shot): хватает одной записи голоса и точной расшифровки того, что на ней сказано. Дообучение (обучение модели на ваших примерах под узкую задачу) для этого не нужно.
• Модель умеет говорить и без образца, своим голосом.
• Звук идёт в качестве 44,1 кГц, как на аудио-CD.
• Веса и код открыты под лицензией Apache 2.0: её можно скачать, менять и использовать в коммерческих проектах.
• Отдельная «модель-критик» на финальном этапе обучения сравнивала каждую фразу с записью живого человека, произносящего то же предложение. Её задача приучить модель к естественным паузам и ритму.

Разработчики объясняют, зачем понадобился критик: привычные метрики ловят ошибки в словах и похожесть голоса, но пропускают ритм и паузы. Модель может пройти обе проверки и всё равно звучать как робот.

Любопытная деталь: финальный этап шёл только на китайских и английских примерах, но ошибки на 13 менее распространённых языках при этом снизились с 22,53% до 20,77%.

Насколько точно она говорит?

Все цифры Edge0 измерила сама, и меньше значит лучше. Главная метрика здесь WER, доля слов, которые распознаватель речи не узнал в синтезированной фразе.

• На тесте CV3 по 9 языкам средняя ошибка 4,86%. У Qwen3-TTS-1.7B 7,73%, у CosyVoice3-1.5B 6,89%, у VoxCPM2 5,35%.
• На тесте MiniMax по 24 языкам ошибка 5,89%.
• Более крупная Higgs TTS 3 обходит новинку: 4,41% на CV3 и 2,74% на MiniMax.
• Слабые места: 48,57% ошибок на тайском и 31,35% на кантонском.

Сама Edge0 называет свою таблицу «справочным сравнением», потому что методики проверки у разных команд отличаются. Отдельной цифры для русского языка источник не приводит, так что качество русской озвучки придётся проверять на слух.

Как попробовать модель самому?

1. Откройте бесплатную демо-площадку Playground на Hugging Face (крупный каталог нейросетей). Там модель работает без установки.
2. Подготовьте чистую запись голоса без шума и музыки и дословную расшифровку этой записи. Без точного текста клонирование не сработает.
3. Для запуска на своей технике нужна видеокарта NVIDIA, а также библиотеки PyTorch 2.5+ и Transformers 4.57+. Модель загружается с параметром trust_remote_code=True.
4. В репозитории на GitHub есть консольная утилита, пакетная обработка и скрипты для дообучения.

Чем это отличается от российских сервисов озвучки?

Из доступных в РФ аналогов для озвучки текста есть Yandex SpeechKit и SaluteSpeech от Сбера. Это облачные сервисы: платите за использование, текст уходит на сервер компании. Audio8-TTS-Realistic устроена иначе. Модель скачивается целиком и работает у вас, но настраивать её придётся самому или с помощью знакомого разработчика.

Для автора 50+ без технического опыта облачный сервис проще. Своя модель выигрывает там, где нужна приватность, большие объёмы или собственный голос в каждом ролике.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена: запишите минуту своего голоса и прогоните через Playground пару абзацев статьи. Если звучит естественно, это заготовка для озвучки видео и коротких роликов без ежедневной записи.

Маркетологу: открытая лицензия убирает плату за каждую минуту озвучки. Для серийного контента, например десятков рекламных роликов, своя модель на арендованной видеокарте может выйти дешевле облака.

Предпринимателю РФ и СНГ: модель не зависит от подписок и санкционных ограничений облачных сервисов, потому что работает на вашем оборудовании. Начните с теста русского языка на демо-площадке и только потом вкладывайтесь в железо.

Какие вопросы задают чаще всего?

Нужен ли мощный компьютер?

Для полноценной работы разработчики рекомендуют видеокарту NVIDIA. Без неё проще всего воспользоваться бесплатной демо-площадкой на Hugging Face.

Можно ли использовать озвучку в монетизируемых роликах?

Лицензия Apache 2.0 разрешает коммерческое использование модели. Но права на голос остаются у его владельца: клонируйте только свой голос или голос человека, который дал письменное согласие.

Хорошо ли она говорит по-русски?

Русский впервые вошёл в список языков семейства Audio8, но отдельных замеров по нему Edge0 не публиковала. Проверить можно за десять минут на демо-площадке, и это честнее любой таблицы.