Модель синтеза речи Phonon весит 64,5 МБ и работает без интернета быстрее облака

Парижская компания Gradium выложила в открытый доступ Phonon, семейство компактных моделей синтеза речи, которые превращают текст в голос прямо на устройстве пользователя, без облачных серверов и без подписки.

Три модели, одна идея: голос без облака

Phonon состоит из трёх моделей:

• Phonon 31m: только английский язык, 37 встроенных голосов, открытая лицензия Apache 2.0. Файл весит 64,5 МБ.
• Phonon 40m: по одной модели на каждый из пяти языков (английский, французский, немецкий, испанский, португальский). Лицензия CC BY-NC 4.0, то есть только для некоммерческого использования. Файл весит 74,6 МБ.
• Phonon 40m multilingual: все пять языков в одной модели, 102 голоса. Та же некоммерческая лицензия.

Русского языка в семействе пока нет. Это сразу ограничивает прямое применение для авторов Дзена. Но сам подход важен: синтез речи перестаёт требовать дорогих облачных API.

Gradium, стартап, выделившийся из французской ИИ-лаборатории Kyutai, сделал ставку на работу модели без подключения к интернету. По данным компании, Phonon запускается на обычных процессорах, смартфонах, одноплатных компьютерах Raspberry Pi 5 и даже в браузере через технологии WASM и WebGPU (способы запуска кода прямо в браузере без установки программ).

Как Phonon звучит на фоне конкурентов?

Gradium провела слепое попарное прослушивание с участием 1 189 оценщиков, которые отдали 17 270 голосов. По результатам, Phonon 40m набрала 2 117 баллов Elo (рейтинговая система, как в шахматах: чем выше, тем лучше), Phonon 31m получила 2 098. Конкурент Kokoro набрал 2 043, NeuTTS получил 2 034 баллов.

По точности произношения на сложном наборе из 500 предложений (с номерами телефонов, адресами электронной почты, почтовыми индексами) Phonon 31m показала уровень ошибок 1,70%. У Kokoro этот показатель составил 3,50%, у NeuTTS Nano он достиг 8,71%. По данным Gradium, такой разрыв обеспечивает встроенная нормализация текста: модель сама разбирает сокращения и цифры.

На более простом тесте Seed-TTS разрыв сужается: у Phonon 31m показатель ошибок 0,51%, тогда как у Kokoro он ниже и составляет 0,45%. Gradium честно публикует оба результата.

Скорость, которую можно пощупать

Цифры скорости Gradium приводит для конкретных устройств:

• MacBook Air M5 (процессор, 4 потока): первый звук через 6,9 мс, скорость в 29,9 раза быстрее реального времени. С оптимизациями Arm KleidiAI и Apple Accelerate скорость достигает 46,7x.
• Raspberry Pi 5 (одноплатный компьютер размером с ладонь): старт через 38 мс, скорость 3,7x от реального времени. По данным Gradium, конкурент Kokoro стартует на этом же устройстве за 7 секунд.
• Snapdragon 8 Elite Gen 5 (мобильный процессор): старт через 7,5 мс, скорость 24x.
• NVIDIA L40S (серверная видеокарта): первый звук через 5 мс.

Для понимания: «29,9x быстрее реального времени» означает, что одну минуту речи модель генерирует примерно за две секунды.

Как попробовать?

1. Установите Python-пакет командой pip install ptts. Поддерживаются также Rust, Swift, C, C++ и запуск в браузере через пакет phonon-tts.
2. Phonon загружается в среды Transformers, MLX-Audio, Ollama и LM Studio. Если вы уже пользуетесь одной из них, модель подключается без дополнительной настройки.
3. Для клонирования голоса и создания собственного голосового профиля используйте Gradium Studio (облачный инструмент). После настройки голос работает локально, без подключения к серверу.
4. Код среды выполнения (runtime) доступен на GitHub под лицензиями MIT и Apache 2.0. Там же лежит OpenAI-совместимый сервер и WebSocket-сервер для интеграции.

Что с российскими аналогами?

Для аудитории в России и СНГ русскоязычный синтез речи пока доступен через облачные сервисы:

Phonon напрямую не заменяет российские сервисы: он не говорит по-русски. Но появление бесплатной модели синтеза речи такого качества на устройстве задаёт ориентир: рано или поздно аналогичные открытые модели (открытые веса, то есть код и параметры модели доступны для скачивания и изучения) появятся и для русского языка.

Что это значит для вас?

Авторам Дзена. Прямо сейчас Phonon не озвучит ваш текст по-русски. Но если вы делаете англоязычный контент или ведёте мультиязычный канал, модель позволяет озвучивать статьи бесплатно, без ежемесячных платежей облачным сервисам и без ограничений на число символов.

Маркетологам. Модель синтеза речи без облака убирает две статьи расходов: оплату API за каждый символ и зависимость от стороннего сервера. Для англоязычных рекламных роликов, IVR-систем (интерактивные голосовые меню, когда клиент звонит и слышит автоматические подсказки) и голосовых уведомлений это прямая экономия.

Предпринимателям в РФ и СНГ. Пока русского языка нет. Следите за появлением мультиязычных версий: Gradium уже выпустила модели для пяти европейских языков, и расширение списка выглядит логичным следующим шагом. Для текущих задач на русском используйте Яндекс SpeechKit или SaluteSpeech.

Частые вопросы

Phonon работает без интернета?

Да. Модель полностью работает на устройстве: на процессоре ноутбука, на телефоне, на Raspberry Pi 5 и даже в браузере. Облачное подключение не нужно ни для генерации речи, ни для запуска. Единственное исключение: клонирование голоса настраивается через облачный Gradium Studio, но после настройки голос работает локально.

Можно ли использовать Phonon в коммерческих проектах?

Зависит от версии. Phonon 31m (английский, 37 голосов) распространяется под Apache 2.0, это разрешает коммерческое использование без ограничений. Мультиязычные модели 40m идут под CC BY-NC 4.0, что запрещает коммерческое применение.

Появится ли русский язык?

На момент публикации Gradium не анонсировала поддержку русского. Сейчас доступны английский, французский, немецкий, испанский и португальский. Архитектура модели позволяет добавлять языки, но конкретных сроков компания не называла.