Определение языка нейросетью в 10 раз быстрее: «Криптонит» сжал модель в 5 раз без потери точности

Зачем вообще определять язык до распознавания речи?

Когда компания обрабатывает тысячи и миллионы аудиозаписей, каждую нужно сначала отсортировать по языку и только потом отправить в подходящую модель распознавания речи (ASR, автоматическое распознавание речи). Без этого шага система либо ошибается, либо тратит ресурсы впустую, прогоняя запись через все языковые модели подряд.

Исследователи компании «Криптонит» взяли за основу общедоступную модель с архитектурой wav2vec2, которая различает 126 языков и содержит около 1 млрд параметров. Задача была не просто уменьшить модель, а сделать её пригодной для потоковой обработки: быстрее, легче, без потери качества.

Что понадобится

• Понимание задачи: вы обрабатываете голосовые данные на нескольких языках и хотите ускорить сортировку.
• Доступ к модели: «Криптонит» описал подход; для воспроизведения нужна базовая модель wav2vec2 (открытые веса доступны публично).
• Инфраструктура: сервер с GPU для дообучения (дообучение, обучение модели на ваших примерах под узкую задачу) или CPU для инференса (инференс, этап, когда обученная модель выдаёт результат на новых данных).
• Время: серия экспериментов с архитектурой и данными; точные сроки «Криптонит» не раскрыл.

Пошаговая инструкция: как «Криптонит» сжал модель

1. Выбрали модель-учителя. Исходная нейросеть wav2vec2 с 1 млрд параметров стала эталоном: она уже хорошо различает 126 языков.

2. Применили дистилляцию знаний. Дистилляция знаний (knowledge distillation) работает как обучение у опытного наставника. Обычная модель учится только на размеченных примерах: «это русский», «это английский». При дистилляции ученик дополнительно получает «ход рассуждений» учителя: какие языки тот считает вероятными и насколько уверен в каждом варианте.

3. Спроектировали компактного ученика. Новая модель содержит 219 млн параметров, это примерно в пять раз меньше оригинала. Архитектуру подбирали экспериментально: проверяли разные варианты передачи знаний и способы обучения внутренних слоёв нейросети.

4. Проверили устойчивость к шумам. Модель тестировали на записях с искажениями и разными аудиокодеками, то есть форматами сжатия звука, которые используют в телефонии. Результат: модель устойчива к типичным помехам реальных звонков.

5. Оптимизировали скорость. Итоговая модель работает примерно в десять раз быстрее учителя, а отклонение по точности (macro average accuracy, средняя точность по всем языкам) составляет менее 1%.

6. Стандартизировали вывод. Результат определения языка модель выдаёт в виде кода ISO 639-3 (международный стандарт кодов языков), что упрощает встраивание в конвейер обработки данных.

Кому это пригодится и что делать прямо сейчас?

Разработчикам голосовых сервисов и телекомам. Если вы строите конвейер распознавания речи, дистилляция LID-модели позволяет обрабатывать больше данных без пропорционального роста числа серверов и ускорителей. Подход «Криптонита» воспроизводим: базовая модель wav2vec2 доступна публично.

Службам технической поддержки. В контакт-центрах, обслуживающих несколько языков, быстрое определение языка нейросетью сокращает задержку маршрутизации звонка. Особенно актуально для компаний в СНГ, где звонки могут идти на четырёх-пяти языках.

Авторам и маркетологам на Дзене. Прямого отношения к текстовому контенту нет, но принцип дистилляции универсален. Если вы используете локальные модели для генерации или классификации текстов, тот же подход, обучить маленькую модель у большой, позволяет запускать её на обычном ноутбуке вместо облачного GPU.

Разработку выполнил исследователь «Криптонита» Александр Самойлов при участии Александра Тарарина и Артёма Рыженкова. Результат: модель с 219 млн параметров, в пять раз легче и в десять раз быстрее оригинала, с потерей точности менее 1%. Для тех, кто обрабатывает голосовые потоки на нескольких языках, это готовый рецепт масштабирования без закупки нового железа.