NER для юристов без A100: Qwen 1.5B догнала Ministral 14B и работает в 2,2 раза быстрее

Подход, который можно назвать «NER для юристов без A100», решает конкретную задачу. Нужно автоматически вытаскивать из тысяч документов дела стороны, договоры, платежи и нарушения, не отправляя файлы наружу и не покупая вторую дорогую видеокарту.

Раньше команда делала NER, распознавание именованных сущностей (когда модель, как маркер, выделяет в тексте нужные имена, даты и суммы), на Ministral 3 14B. Модель тратила около 33 секунд на документ на арендованной A100, профессиональной видеокарте для ИИ. Как рассказал Даниил Шеремет, AI-инженер Agentic Lab, после перевода чата их ассистента Агаты на Gemma 4 28b видеокарта оказалась занята почти целиком, и массовый разбор документов стал бы останавливать чат у других клиентов.

Почему юристам нельзя просто отправить дело в API?

API здесь означает внешний облачный сервис, куда текст отправляют на обработку. Материалы дела одновременно составляют адвокатскую тайну, коммерческую тайну клиента и персональные данные десятков людей. Передать их в такой сервис значит отдать третьему лицу, почти наверняка на зарубежный сервер.

Вице-президент Федеральной палаты адвокатов Сергей Зубков в интервью РАПСИ назвал главным риском ИИ для адвокатов именно утечку тайны. По его словам, работать с материалами доверителя через ИИ можно только с согласия доверителя. Сверху действует 152-ФЗ о персональных данных: хранение в России, передача за рубеж с уведомлением Роскомнадзора, а с 2025 года штраф за утечку может считаться от оборота.

Отсюда требование «только он-прем», то есть модель работает на железе самого клиента. Каждый гигабайт видеопамяти на счету.

Что понадобится для своего разбора на одной карте?

• Малая открытая модель: у команды это Qwen2.5-1.5B.
• LoRA-адаптер, лёгкая «насадка» для дообучения: модель не переучивают целиком, а добавляют к ней небольшой слой под задачу.
• Видеокарта уровня A5000.
• Реальные документы, полученные с согласия клиентов: у команды их было около 5 500.
• Отложенная проверочная выборка из реальных документов: в тестах их было 145.

Как повторить подход по шагам?

1. Разбейте сущности на классы. В Agentic Lab их девять: участники, реквизиты документа, договоры, предмет спора, факты исполнения, платежи, нарушения, денежные требования и внесудебная переписка.
2. Задавайте модели один класс за вызов. В системном промпте (служебной инструкции модели) лежит схема класса, в сообщении текст документа, на выходе JSON, то есть структурированная таблица полей. Девять вызовов по 3,6 секунды на A100 и дают те самые 33 секунды.
3. Изучите длины документов. Медиана у команды составила 2 380 символов, но самые длинные 10% документов содержат 61% всего текста.
4. Отрежьте длинный хвост заранее. Окно обучения составляло 16 тысяч токенов (токен примерно равен части слова), и всё, что длиннее, тренер обрезает молча вместе с правильным ответом.
5. Делите данные на обучающую и проверочную части по хешу текста, цифровому отпечатку документа. Так один документ с разными классами не попадёт в обе части.
6. Дообучите малую модель с LoRA и сравните её с большой по макро-F1, средней оценке точности по всем классам сразу. Итог команды: 0,70 против 0,71 у Ministral.

Что делать с этим прямо сейчас, по ролям

Юристу и юрдепартаменту: у команды разработчиков ИИ-инструмента спрашивайте, где физически работает модель и уходят ли документы наружу. Кейс показывает, что разбор на своём сервере технически возможен.

Предпринимателю, который делает ИИ-продукт для закрытых отраслей: прежде чем покупать вторую A100, проверьте, справится ли малая дообученная модель с узкой задачей.

Автору Дзена, который пишет о праве или ИИ: этот кейс хорошо иллюстрирует тему «ИИ и тайна». Пересказывайте цифры с оговоркой, что это тесты одной компании.