10 голосовых ИИ для фанатского ИИ-дубляжа: японский образец переносит акцент в русскую речь

Полноценный дубляж аниме требует переводчика, режиссёра, студии и отдельного актёра на каждую роль, который повторит игру сэйю (так называют японских актёров озвучки аниме). Фанатам такое не по карману, поэтому их озвучка обычно закадровая: от одного до трёх человек читают за всех героев поверх приглушённого японского оригинала. Автор материала «Я протестировал 10 голосовых ИИ: насколько мы близки к революции фанатского ИИ-дубляжа?» проверил, можно ли заменить эту схему нейросетями дома.

Голос копируется, акцент копируется вместе с ним

Клонирование голоса (когда нейросеть по короткой записи учится говорить чужим тембром) работает на своём материале. Автор записал десять секунд собственной русской речи, отдал их модели OmniVoice и после нескольких проб признал клон «очень достойным».

С JoJo схема была такой: каждую русскую реплику клонировать с японской реплики того же героя в том же месте серии, чтобы модель забрала и голос, и эмоцию. Голос OmniVoice копировала хорошо, но вместе с ним в русский текст переезжал японский акцент. Крик «Джайро!» выходил то «Джайло», то «Зайло», с роботизированным призвуком.

9 октября автор перебрал модели, которые помещались в 6 ГБ видеопамяти:

• Higgs, CosyVoice и Chatterbox с японским образцом дали тот же акцент;
• русская ESpeech на базе F5 говорила чисто, но ставила паузы в странных местах и читала «с интонацией школьника у доски»;
• Seed-VC перекрашивал её голос в Джонни и возвращал акцент;
• X-Voice лучше всех прошёл проверку Whisper (программа, которая распознаёт речь и определяет язык): от 85 до 98% «русскости», хотя на слух акцент и роботизированность остались.

Показательная деталь: цифра хвалила то, что уши бракуют. 20 октября автор полез внутрь OmniVoice, где работает языковая модель Qwen. Он нашёл около 1 900 нейронов из 86 000, которые отличались при японском и русском образце, но их сдвиг акцент не убрал. Помогло другое: когда механизмы внимания с 16-го по 21-й слой заставили смотреть на образец равномерно, акцент ослаб. Вывод автора: модель списывает акцент с образца кадр за кадром, и обычными настройками это не выключить.

Что понадобится для повторения теста?

• Видеокарта: автор работал на GTX 1660 Super с 6 ГБ видеопамяти и 8 ГБ оперативной памяти.
• Короткий отрывок: в тесте было 11 реплик на троих героев (Джонни, Джайро и Бумбум).
• Чистые записи голоса каждого героя: автор набрал две с половиной минуты Джонни и сам называет это маловатым.
• Набор моделей: OmniVoice, ESpeech, RVC и другие, что влезают в вашу видеопамять.
• Время: у автора ушло 12 дней плюс вечер за компьютером друга с RTX 4080.

Как повторить тест по шагам?

1. Проверьте клон на собственном голосе: десять секунд вашей русской речи покажут, годится ли модель в принципе.
2. Вырежьте реплики героя из всей серии и разметьте вручную, кто где говорит. Автоматическое сравнение голосов у автора путало Джонни с Андре и Маунтейн Тимом.
3. Берите образец на русском, а не на японском, если модель это позволяет. Японский образец тянет за собой акцент.
4. Прогоните контрольные фразы с трудными звуками «ч, ж, щ, ш, ц, л, ы» и скоплениями согласных.
5. Для подгонки тембра попробуйте RVC (модель преобразования голоса, которую обучают на записях конкретного человека). Автор обучал её 25 эпох, то есть 25 полных проходов по записям.
6. Сохраняйте каждый вариант в отдельную подпапку с понятным именем: у автора к вечеру их было пятнадцать, и решение в итоге лежало в соседней папке.

Джайро!
Что за судья Цеппели?!

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Озвучка своим клонированным голосом на русском образце работает и на домашней видеокарте. Это путь к аудиоверсиям статей и закадру для роликов без записи каждого дубля.

Маркетологу. Чужой голос с иностранного образца даст акцент, который слушатель заметит сразу. Для русских роликов записывайте образцы диктора по-русски.

Предпринимателю в РФ и СНГ. Открытые модели клонируют голос по нескольким секундам звука и запускаются локально, так что для пробы не нужна подписка на зарубежный сервис. Из русскоязычных моделей в тесте была ESpeech: чистое произношение, но паузы и интонацию придётся править.