Как искать ошибки в ответах LLM по logprobs: «Ингосстрах» проверил метод на паспортах РФ

Центр развития искусственного интеллекта СПАО «Ингосстрах» работает с интеллектуальной обработкой документов (Intelligent Document Processing, IDP, автоматическое извлечение данных из сканов и фотографий). Вместо классического конвейера с отдельным распознаванием текста (OCR) команда использует мультимодальную модель (модель, которая «видит» и изображение, и текст одновременно), которая сразу превращает фото паспорта в структурированный набор полей. Проблема в том, что такой подход лишает привычной оценки уверенности, которую дают OCR-движки вроде Tesseract или EasyOCR. Разработчик команды Алексей описал на Хабре, как они эту оценку восстановили через logprobs.

Что именно сделали и как это работает?

Модель генерирует ответ токен за токеном (токен, это минимальный кусочек текста, который модель обрабатывает за один шаг; слово «ИВАНОВ» может состоять из нескольких токенов). На каждом шаге она рассчитывает вероятности для всех возможных продолжений. Logprobs (логарифмы вероятностей, числа, показывающие, насколько модель была уверена в выбранном токене) показывают, насколько ожидаемым было каждое продолжение.

Сами по себе logprobs не говорят, правильно ли распознано поле. Команда «Ингосстраха» превратила сырые вероятности в набор признаков для классификатора.

Вот ключевые признаки, которые использовали:

• min_prob: минимальная вероятность среди выбранных токенов поля. Если хотя бы один токен «сомнительный», поле подозрительно.
• mean_prob: средняя вероятность. Общий уровень уверенности модели при генерации поля.
• min_margin_probs: минимальный разрыв между первым и вторым по вероятности токеном. Маленький разрыв означает, что модель «колебалась».
• max_top5_entropy: максимальная энтропия (мера хаоса в распределении вероятностей) по пяти самым вероятным токенам. Высокая энтропия, модель не уверена.

Базовая модель распознаёт около 98% отдельных полей и 90% документов целиком. Ошибок мало, а распределения вероятностей получаются «остроконечными», почти вся вероятность уходит в один токен. Чтобы набрать достаточно примеров ошибок для обучения классификатора, команда добавила контролируемые искажения к изображениям: размытие, шум, искажение перспективы. Интенсивность подбирали так, чтобы модель распознавала верно от семи до десяти полей из одиннадцати.

Примечательно, что одно и то же искажение по-разному влияет на разные поля. Например, при увеличении размытия (MotionBlur) поле «пол» почти не страдало, а фамилия и место рождения распознавались заметно хуже. Это аргумент в пользу отдельных классификаторов для разных типов полей, хотя в базовом варианте «Ингосстрах» использовал один общий.

Тестовую выборку оставили без синтетических искажений, чтобы проверить подход на реальных, неиспорченных данных.

Почему это важно для тех, кто работает с документами в РФ?

Исследование построено на реальном паспорте РФ и локальной экосистеме: Госуслуги, банки, страховщики, процедуры KYC (Know Your Customer, проверка личности клиента). Ошибка в номере паспорта или коде подразделения в автоматизированном конвейере означает, что неверные данные попадут в следующую систему. Причём формат ответа будет корректным, JSON пройдёт валидацию, и без дополнительного сигнала никто не заметит подмену «ИВАНОВ» на «ИВАНО».

Команда фактически показала: поля с высоким logprobs-скором ошибаются реже, с низким, чаще. Это позволяет автоматически сортировать документы на «можно принять» и «отправить на ручную проверку».

Релиз совпал с публикацией оригинальной академической работы «Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction», на которую команда ссылается. Метод не уникален для «Ингосстраха», но их заслуга в том, что они адаптировали подход к конкретным полям российского паспорта.

Даже с ошибкой в номере паспорта или фамилии ответ модели остаётся синтаксически корректным JSON, и следующая система может принять неверные данные за достоверные. : Алексей, разработчик из команды перспективных технологий ЦР ИИ СПАО «Ингосстрах»

Какие ответы LLM стоит перепроверять на практике?

Авторам Дзена и копирайтерам. Принцип logprobs работает не только для паспортов. Если вы используете языковую модель для извлечения фактов, имён, дат из источников, именно эти поля (имена собственные, числа, коды) модель путает чаще всего, а формат ответа не выдаёт ошибку. Перепроверяйте в первую очередь имена, числа и аббревиатуры.

Предпринимателям и разработчикам в РФ. Если вы автоматизируете обработку документов через мультимодальные модели, метод logprobs, это способ встроить «светофор доверия» в конвейер без дорогой разметки. Модель Qwen3.5-9B с дообучением (LoRA, метод, который позволяет адаптировать большую модель на малых данных без переобучения всех параметров) доступна для локального развёртывания.

Маркетологам и тем, кто работает с KYC-процессами. Страховые, банки, госструктуры, все, кто проверяет документы, получают инструмент приоритизации ручной проверки. Не проверять всё подряд, а проверять то, в чём модель сомневается.

Если вы строите конвейер обработки документов на мультимодальных моделях, начните с простого: включите возврат logprobs в API вашей модели и посмотрите, коррелируют ли низкие вероятности с реальными ошибками на вашем типе документов. Это займёт день, а не месяц, и сразу покажет, стоит ли вкладываться в полноценный классификатор.