Большие языковые модели заговорили на карачаево-балкарском: 450 тысяч носителей получили свой ИИ

Команда TSjB до этого собрала первый электронный параллельный корпус из 289 тысяч пар предложений на карачаево-балкарском и русском, который лёг в основу карачаево-балкарского направления «Яндекс.Переводчика», и построила первую нейросистему перевода на базе NLLB-200. Новая модель QM-4B, выложенная в открытый доступ на HuggingFace, стала логичным продолжением: дать языку не просто переводчик, а собственный генеративный ИИ.

Существующие большие языковые модели вроде Claude и Gemini лишь недавно начали понимать карачаево-балкарский, но путают диалекты и подмешивают слова из других языков. QM-4B обучена так, чтобы карачаево-балкарский был для неё родным, а не воспринимался через призму английского или русского.

Какую задачу решает этот подход?

Если вы работаете с малоресурсным языком (язык, для которого мало оцифрованных текстов и нет готовых ИИ-инструментов), метод команды TSjB даёт воспроизводимый шаблон: как собрать корпус, справиться с диалектами без нейросети-конвертера и дообучить (fine-tuning, обучение готовой модели на ваших данных под узкую задачу) существующую модель, не потеряв её способность следовать инструкциям.

Результат: модель, которая отвечает на карачаево-балкарском, различает диалекты и доступна бесплатно на HuggingFace.

Что понадобится

• Доступ к HuggingFace для загрузки базовой модели Qwen3-4B-Instruct-2507 и итоговой QM-4B
• Корпус текстов на целевом языке (у команды TSjB: 75 733 записи, 662 млн символов из 18 источников)
• Вычислительные ресурсы для дообучения модели на 4 млрд параметров
• Лингвистическая экспертиза по диалектам языка для создания словаря пар и правил морфологии
• Время: команда отмечает, что «разработка занимает много времени»; точный срок не назван

Пошаговая инструкция: как команда TSjB строила модель

1. Соберите монокорпус. Команда взяла 18 источников по семи жанрам. Три крупнейших по объёму: газета «Заман» (28,2%), антология литературы карачаево-балкарских авторов (25,8%) и сборник поэзии (10,7%). Периодика в сумме дала 45,4% корпуса.

2. Очистите данные. Сырые тексты прогоняются через конвейер: удаление управляющих символов и лишней пунктуации, нарезка на чанки (фрагменты) по 50-1200 слов с перекрытием в 200 слов, фильтрация специфичной разметки (Wikipedia, газетный контент) и дедупликация по точному совпадению. Команда удалила 713 дублей. Итог: 75 733 записей, разделённых 97,5% на обучение и 2,5% на проверку.

3. Сбалансируйте диалекты через морфологический процессор. Это ключевой шаг. У карачаево-балкарского несколько диалектных вариантов, различающихся на фонемном уровне:

4. Джокающий карачаевский (территория Карачая)
5. Джокающий баксанский (долина реки Баксан)
6. Жокающий чегемский (долина реки Чегем)
7. Смешанный хуламско-безенгиевский (долина реки Черек Хуламский)
8. Цокающе-зокающий малкарский (долина реки Черек Балкарский)

Различия не только в звуках. Целые слова разные: «тюл» и «тюйюл» означают «нет», «бусагъат» и «шёндю» означают «сейчас». В сыром корпусе диалекты представлены неравномерно, и без балансировки модель скатывается в доминирующий вариант.

1. Напишите rule-based процессор вместо нейросети-конвертера. Команда осознанно отказалась от нейросетевого подхода: диалектное отображение следует регулярным фонологическим правилам, и нейросеть стала бы галлюцинировать (галлюцинация, когда ИИ уверенно выдумывает то, чего не было) там, где правила работают детерминированно. Процессор работает в три стадии:

Стадия 1. Нормализация. Каждое слово приводится к диалект-нейтральной форме: специфичные буквы заменяются абстрактными символами.

«дж»/«ж» → «j» (в начале слова) «б»/«п» → «b» (в конце слова) «у»/«ў» → «w» (в интервокальной позиции)

Стадия 2. Сопоставление по словарю (около 10 700 записей). Нормализованные слова сопоставляются со словарём по стратегии наиболее длинного совпадающего начала слова. Примерно у 50% слов в типичном тексте находится совпадение, остальные остаются без изменений.

Стадия 3. Морфонологическое преобразование. При совпадении корень заменяется на корень целевого диалекта, а суффикс преобразуется по правилам: сингармонизм (гласные суффикса подстраиваются под последнюю гласную нового корня), ассимиляция согласных, озвончение и эпентеза.

1. Аугментируйте корпус. Процессор позволил добавить 24 997 записей: 10 000 литературных, 7 998 карачаевских, 5 499 балкарских и 1 500 малкарских.

2. Обучите токенизатор (токенизатор, программа, которая разбивает текст на единицы, «токены», понятные модели) с нуля и дообучите базовую модель Qwen3-4B-Instruct-2507, найдя баланс между способностью модели отвечать на карачаево-балкарском и сохранением умения следовать инструкциям.

Вход: балтузугъуз (балкарский)

Шаг 1. Замена корня по словарю: балтуз → шекер
Шаг 2. Выделение аффикса и перевод в фонемную форму: угъуз → u-g-u-z
Шаг 3. Сингармонизм (последняя гласная нового корня «е», e-класс): u-g-u-z → и-г-и-з
Шаг 4. Фонологические правки

Выход: шекеригиз (карачаевский)

Что делать с этим прямо сейчас?

Авторам на Дзене и контент-мейкерам: если вы пишете для аудитории Северного Кавказа или диаспоры, модель QM-4B на HuggingFace позволяет генерировать и проверять тексты на карачаево-балкарском без подмешивания чужих слов. Claude и Gemini пока этого не гарантируют.

Лингвистам и разработчикам для других малоресурсных языков РФ: подход TSjB воспроизводим. Собрать корпус из оцифрованной прессы и литературы, написать rule-based процессор для диалектов, аугментировать данные, дообучить открытую модель (опенсорс, модель с доступным кодом и весами) вроде Qwen. Модель и процессор выложены открыто.

Предпринимателям в РФ и СНГ: в России десятки языков с похожей ситуацией: есть носители, есть оцифрованная пресса, нет своего ИИ. Подход с rule-based аугментацией и дообучением открытой модели дешевле, чем обучение с нуля. Для чувашского, башкирского, якутского и других тюркских языков диалектный процессор TSjB может быть адаптирован, потому что фонологические правила в тюркской группе структурно похожи.

Для языков народов России путь от «Claude иногда понимает» до «своя модель на HuggingFace» занял у команды TSjB несколько итераций: параллельный корпус, нейропереводчик, теперь полноценная LLM. Этот путь повторим, и модель QM-4B с открытым морфологическим процессором делает его короче для следующей команды.