Liquid AI открыла аудиокодек LiquidCodec: речь кодируется в 361 раз быстрее без видеокарты

Раньше в модели LFM2-Audio-1.5B Liquid AI использовала чужой кодек Mimi от компании Kyutai на 96,2 млн параметров. Теперь у неё собственный LiquidCodec на 73,6 млн параметров, на нём работают LFM3-Audio-2B и LFM3-Omni-2B. Об этом пишет Marktechpost со ссылкой на технический блог Liquid AI и карточку модели на Hugging Face.

Аудиокодек (программа, которая сжимает звук и затем восстанавливает его) здесь решает особую задачу. Он нарезает речь на кадры по 80 миллисекунд и превращает каждый кадр в 12 токенов (коротких цифровых меток, из которых нейросеть собирает ответ). Языковая модель предсказывает эти токены, а кодек снова переводит их в звук. По словам компании, цели было две: токены, которые легко предсказывать, и быстрый обратный перевод в речь.

Что нового в LiquidCodec?

• Он легче предшественника. В кодеке около 74 млн параметров (внутренних настроек нейросети, чем их больше, тем она тяжелее). У Mimi их 96,2 млн.
• Работает на обычном процессоре. Скорость проверяли на одном потоке ноутбука MacBook Pro с чипом Apple M4 Max. Поддерживаются и видеокарты Nvidia через библиотеку Transformers.
• Он быстрый. Кодирование идёт примерно в 361 раз быстрее реального времени, декодирование примерно в 87 раз. По расчётам Liquid AI, это в 13 раз быстрее Mimi на кодировании и в 2,9 раза на декодировании.
• Восстанавливает звук точнее конкурентов. На всех 8 тестовых наборах у LiquidCodec лучший показатель ViSQOL (оценка того, насколько восстановленный звук похож на исходный). На наборе LibriSpeech результат 4,319 против 4,219 у NanoCodec, 4,119 у X-Codec 2 и 4,031 у Mimi.
• Синтез речи стал чище. Компания обучила одинаковые модели синтеза речи на токенах каждого кодека. На LibriSpeech доля ошибочно распознанных слов составила 3,15% у LiquidCodec и 6,27% у Mimi.
• Обучен на большом объёме речи. Сначала его обучали на 264 000 часах записей на 107 языках. Затем было дообучение (доводка модели на отобранных примерах) на 55 000 часах качественной речи. По словам Liquid AI, этот этап убрал металлический призвук.
• Есть сжатые версии. Декодер в версии Q4_0 занимает в 3,5 раза меньше места, а ViSQOL снижается лишь с 4,319 до 4,292.

Обратите внимание: все цифры скорости и качества Liquid AI измеряла сама, независимой проверки источник не приводит.

Как попробовать LiquidCodec?

1. Найдите LiquidCodec на Hugging Face: веса выложены там, рядом страницы LFM3-Audio-2B и LFM3-Omni-2B.
2. Разработчик загружает кодек через библиотеку Transformers с параметром trust_remote_code=True. Команда encode() превращает звук в токены, команда decode() собирает звук обратно.
3. Для запуска на ноутбуке выберите сборки GGUF (формат сжатых моделей для обычного компьютера) в вариантах Q4_0, Q4_K_M или Q8_0. Их запускают через программу llama.cpp, файлы лежат в репозиториях LFM3-Audio-2B и LFM3-Omni-2B.

Есть ли российский аналог?

Прямого сравнения с российскими разработками источник не делает. Это разные уровни: LiquidCodec служит деталью внутри голосовой модели, а не готовым сервисом озвучки. Если нужна готовая озвучка для роликов, можно обратиться к доступным в РФ сервисам Yandex SpeechKit и SaluteSpeech от Сбера.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Сам кодек текст не озвучивает. Польза появится, когда на его основе выйдут программы озвучки и голосовые помощники. Следите за продуктами на LFM3-Audio-2B.

Маркетологу. Если подрядчик предлагает голосового бота, спросите, может ли тот работать на вашем сервере. Компоненты вроде LiquidCodec, которым хватает одного потока процессора, делают такой вариант реальнее.

Предпринимателю в России и СНГ. Доступность сервиса в России источник не обсуждает. Но скачанный кодек работает локально и не зависит от чужого облака. До запуска в продукт проверьте его на русской речи.

Разработчику. Для потоковой обработки в кодеке есть встроенный кэш, он декодирует звук по кусочкам. Примеры в карточке модели рассчитаны на видеокарты Nvidia.

Какие вопросы задают чаще всего?

Это замена аудиокодеку AAC?

Источник такого сравнения не делает. Задача у LiquidCodec своя: превращать речь в токены для языковой модели и быстро собирать из них звук обратно.

Нужна ли мощная видеокарта?

Нет. Скорость измеряли на одном потоке процессора ноутбука, а сжатые сборки GGUF рассчитаны на обычные компьютеры.

Говорит ли он по-русски?

Кодек обучали на 107 языках, но есть ли среди них русский, источник не уточняет, и в тестах русской речи не было. Поэтому сначала проверьте его на своей записи и только потом стройте на нём продукт.