Синтез речи на длинном тексте: почему 14 тестовых фраз врут о качестве

Автор серии статей о синтезе речи для крымскотатарского языка провёл эксперимент, который редко кто повторяет: озвучил нейросетью целый роман Шамиля Алядина «Merdiven» («Лестница»), 16 глав, 15 444 слова, 1 час 58 минут звучания. Результат оказался неожиданным: сама модель держалась ровно все два часа, а ломалось всё вокруг неё.

Почему 14 тестовых фраз врут о качестве?

Проверочный набор из 14 фраз показывал CER (Character Error Rate, долю символьных ошибок при обратном распознавании) около 14 %. На реальной прозе первой главы CER оказался меньше 2 %. Модель не стала лучше за ночь. Просто тестовый набор нарочно враждебный, а обычный текст нет.

Вывод прямой: цифру с проверочного набора нельзя выдавать за качество реального чтения. Она годится только для сравнения версий модели между собой, и даже с этим справляется не всегда.

Что понадобится

• Модель синтеза речи, способная работать с нужным языком (в эксперименте использовалась многоязычная модель с опытом на казахском, уйгурском и башкирском)
• Модель распознавания речи для обратной вычитки, когда синтезированный звук прогоняется через распознавалку и результат сравнивается с исходным текстом
• Голосовой образец: несколько секунд записи с точным текстом (в эксперименте использовался семисекундный образец голоса Sevil)
• Скрипт нарезки текста на предложения и склейки звука
• Скрипт обрезки вдохов в начале фраз
• Время: озвучка романа на 16 глав заняла 18 часов синтеза, не считая отладки

Пошаговая инструкция: как не сломать синтез речи на длинном тексте

1. Проверьте текст на утечку в обучающие данные. Если текст попал в обучение, модель не читает, а вспоминает, и результат будет ложно хорошим. В эксперименте сравнивались словные шестиграммы (цепочки из шести слов подряд): 0 совпадений из 14 656 цепочек книги против корпуса на 1,38 млн слов. Обе стороны перед сравнением приводились к общему грубому латинскому скелету, такая свёртка теряет различия только в сторону лишних совпадений, поэтому ноль у неё честный.

2. Не склеивайте короткие предложения с соседними. Логика кажется железной: раз самые короткие клипы в обучающих записях длились 2,94 секунды, реплику короче 43 букв лучше приклеить к соседней. На практике склеенные фрагменты занимали 25 % символов главы и давали 43 % ошибок. Модель начинала выбрасывать целые предложения.

3. Замерьте ошибки по длине предложения без склейки. Короткие предложения действительно дают больше ошибок, примерно в два с половиной раза. Но обрыва на 43 буквах нет: корзины от 0 до 24 и от 25 до 42 букв одинаковы, а CER продолжает падать примерно до 70 букв. Штраф за короткие реплики стоит около 2 процентных пунктов CER на 15 % текста, а склейка обходилась в 3,3 пункта на 25 % текста и вдобавок теряла целые предложения.

4. Перепишите обрезку вдохов. Синтез речи иногда начинает фразу со вдоха, как живой диктор. Наивная обрезка ищет первый звонкий кадр, а глухие согласные до него считает вдохом. Результат: «Çañ qaqıldı» превращается в «Qaqıldı». В 111 предложениях из 147 срез приходился внутрь первого слова. Правильная обрезка смотрит на громкость: согласный тихий, но намного громче паузы перед ним.

5. Проверяйте голосовое сходство на длинной дистанции. Сходство голосовых эмбеддингов (числовых «отпечатков» голоса) с первой минутой главы оставалось в пределах от 0,96 до 0,98 все двенадцать минут первой главы. Темп ровный. Если у вас этот показатель падает, проблема в образце или в модели, а не в обвязке.

6. Используйте обратную вычитку как основной прибор. Синтезируйте предложение, прогоните звук через распознавание и посчитайте CER гипотезы против исходного текста. Цифру считайте корпусную: сумма правок на сумму символов эталона, а не среднее по клипам. Клипы, на которых распознавалка ушла в петлю (правок больше, чем слов в эталоне), помечайте отдельно.

7. Помните о слепых пятнах прибора. Обратная вычитка не слышит ударения и вдохов, не умеет проверять числа, и она сама модель со своими сбоями. Всё это приходится закрывать ухом, ручным прослушиванием.

Что делать с этим прямо сейчас?

Авторам Дзена, которые озвучивают длинные статьи или подкасты. Если вы пользуетесь синтезом речи онлайн бесплатно или через платные сервисы, не оценивайте качество по первому абзацу. Прогоните весь текст целиком, послушайте середину и конец: именно там вылезают пропущенные предложения и обрезанные слова.

Маркетологам и продюсерам контента. Перед тем как заказать озвучку длинного материала нейросетью, попросите исполнителя показать результат обратной вычитки на полном тексте, а не на демо-фрагменте. Разница между демо и полным прогоном может быть в разы.

Разработчикам и тем, кто строит пайплайн синтеза для локальных языков. Опыт крымскотатарского романа показывает: дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) решает проблему произношения специфических звуков, но не спасает от ошибок в обвязке. Модель, тембр и скрипты вокруг них чинятся по отдельности, и это хорошая новость: не нужно переобучать модель каждый раз, когда сломалась нарезка текста.

Главный урок этого эксперимента укладывается в одну строку: тестируйте синтез речи на том тексте, который вам реально нужен, а не на демо-фразах, и проверяйте результат обратной вычиткой от начала до конца.