ЮНИИИТ открыл OCR для мансийского языка: ошибок в 20 раз меньше, книги оцифруют без перепечатки

Институт рассказал об этом на Хабре во второй части цикла о проекте «Корпус мансийского языка». В первой части команда собрала 300 тысяч параллельных предложений и обучила нейросеть переводить с русского на мансийский и обратно. Теперь речь об OCR (оптическое распознавание символов: программа превращает скан страницы в текст, который можно искать и править).

Основа модели названа в источнике прямо: открытый движок распознавания Tesseract 5. Команда его дообучила, то есть доучила готовую модель на своих примерах под узкую задачу. По подсчёту института, ошибок стало примерно в 20 раз меньше. Модель лежит на Hugging Face, открытой площадке, где разработчики публикуют нейросети для свободного скачивания.

Почему обычный распознаватель ломается на мансийском?

Мансийская письменность построена на кириллице, но в ней есть долгие гласные с макроном (чертой над буквой): а̄, о̄, ӯ, э̄, ы̄. Есть и отдельная буква ӈ, ею обозначают звук «нг». Долгота гласной меняет смысл, поэтому без макрона одно слово может превратиться в другое.

Стандартная русская модель Tesseract этих букв не знает. Черту над буквой она теряет, а иногда превращает знакомую букву в мусор. На мансийском тексте она ошибается примерно в 18 символах из 100.

Вторая проблема глазом не видна. Одну и ту же букву можно записать в Unicode (таблице кодов, по которой компьютер хранит каждый символ) разными способами. Человек видит одинаковые буквы, программа видит разные последовательности символов.

Модель выучили на картинках, которые нарисовали сами

Нейросетевой модели распознавания нужны сотни тысяч примеров «картинка со строкой плюс правильный ответ». Коллекции мансийских сканов такого размера нет, а ручная разметка заняла бы годы. Команда взяла настоящие мансийские тексты из печатных и электронных изданий и отрисовала их на картинках разными шрифтами, поэтому правильный ответ был известен заранее.

Вот как выглядела подготовка:

• все тексты привели к форме NFC, при которой буква с чертой хранится одним символом, а не буквой плюс отдельным макроном;
• строки рисовали несколькими десятками шрифтов, среди них FreeSerif, DejaVu Sans, Arial, Calibri и Times New Roman;
• каждую строку выводили в размерах 12, 14, 24 и 26 pt, обычным, полужирным начертанием и курсивом;
• каждую букву обводили рамкой в box-файле (файле с координатами рамки вокруг каждого символа).

С рамками пришлось повозиться. Макрон выступает над строкой, и каждый шрифт рисует его по-своему, поэтому автоматический расчёт координат часто промахивается. Команда завела три словаря поправок: CHAR_OFFSETS для отдельных символов, CHAR_SIZE под размер шрифта, RATE под конкретную гарнитуру, и подбирала значения вручную, глядя на результат.

Что понадобится для оцифровки мансийской книги?

• Сканер или телефон, который даёт ровный снимок страницы.
• Установленный Tesseract 5, он бесплатный.
• Файл модели со страницы института на Hugging Face, ссылку ЮНИИИТ даёт в своей статье на Хабре.
• Время на вычитку: даже 0,85% ошибок требуют проверки глазами.

Как распознать страницу по шагам?

1. Отсканируйте страницу ровно, без теней и загибов.
2. Установите Tesseract 5 и положите скачанный файл модели в папку с его языковыми моделями.
3. Запустите распознавание, подставив имя модели со страницы на Hugging Face:

tesseract scan.png result -l ИМЯ_МОДЕЛИ

1. Откройте полученный текстовый файл и приведите текст к форме NFC. В Python это делает функция unicodedata.normalize с параметром NFC.
2. Вычитайте результат, особенно буквы с макроном и ӈ.

Кому модель пригодится в работе?

Автору Дзена, который пишет о Югре, народах Севера или краеведении: можно оцифровать старый сборник фольклора и цитировать оригинал с правильными буквами, а не перепечатывать вручную.

Маркетологу региональных проектов: оцифрованные тексты становятся доступными для поиска, а значит, материалы музеев и библиотек можно превращать в контент без найма наборщика.

Предпринимателю в РФ и СНГ: Tesseract и модель бесплатные, а сам приём перенесён на любой язык с особыми буквами на кириллице. Сценарий «сгенерировать картинки из текста и дообучить открытый движок» обходится без готового архива сканов.

Мансийский язык получил то, чего нет у многих малых языков: открытый инструмент, который читает его буквы правильно. Дальше дело за теми, у кого на полке лежат бумажные книги.