Нейросеть для обработки документов deepdoctection: конвейер из открытых моделей без платных API

Библиотека deepdoctection объединяет несколько моделей: детектор макета на базе DocLayNet, распознаватель структуры таблиц Table Transformer и OCR-движок DocTR (оптическое распознавание символов). До версии 1.2 эти компоненты приходилось склеивать вручную. Сейчас один вызов get_dd_analyzer создаёт готовый конвейер, где каждый шаг передаёт результат следующему. Для ML-инженеров, работающих с русскоязычными счетами, контрактами и актами, это означает: структура документа разбирается автоматически, а извлечение дат и сумм можно добавить собственным компонентом.

Что понадобится?

• Python 3.9+ и среда с GPU (Google Colab подойдёт, бесплатного T4 хватает)
• Библиотеки: deepdoctection, transformers>=5.2.0, timm, python-doctr, pdfplumber, networkx, lxml
• Тестовые файлы: любой PDF или изображение документа (в примере используется финансовый отчёт в формате PNG и научная статья в PDF)
• Время: около 30 минут на первый запуск (модели скачиваются при первом вызове, около 1,5 ГБ)

Пошаговая инструкция

1. Установите зависимости и настройте окружение

pip install -q "deepdoctection" "transformers>=5.2.0" "timm" "python-doctr" "pdfplumber" "networkx" "lxml"

import os
os.environ["DD_USE_TORCH"] = "True"
os.environ["DPI"] = "200"
os.environ["LOG_LEVEL"] = "INFO"

Переменная DPI задаёт разрешение растеризации PDF. Значение 200 даёт хороший баланс между качеством распознавания и скоростью. Для мелкого шрифта в договорах стоит поднять до 300.

2. Примените патч совместимости для Transformers и PEFT

import transformers.integrations.peft as _hf_peft
if _hf_peft.is_peft_available():
    _hf_peft.is_peft_available = lambda: False

Без этой строки при загрузке весов модели Transformers пытается найти PEFT-адаптеры (модули для лёгкого дообучения) и падает с ошибкой. Патч отключает эту проверку.

3. Проверьте реестр моделей

import deepdoctection as dd

dd.print_model_infos(add_description=False, add_config=False, add_categories=False)
profile = dd.ModelCatalog.get_profile("Aryn/deformable-detr-DocLayNet/model.safetensors")
print("Категории макета:", profile.categories)

Здесь вы увидите список категорий, которые детектор макета умеет находить: заголовки, параграфы, таблицы, рисунки, подписи и другие элементы документа.

4. Сконфигурируйте анализатор

config_overwrite = [
    "USE_LAYOUT=True",
    "USE_LAYOUT_NMS=True",
    "USE_TABLE_SEGMENTATION=True",
    "USE_OCR=True",
    "USE_LAYOUT_LINK=True",
    "LAYOUT.WEIGHTS=Aryn/deformable-detr-DocLayNet/model.safetensors",
    "ITEM.WEIGHTS=deepdoctection/tatr_tab_struct_v2/model.safetensors",
    "ITEM.FILTER=['table']",
    "OCR.USE_DOCTR=True",
    "OCR.USE_TESSERACT=False",
    "WORD_MATCHING.RULE=ioa",
    "WORD_MATCHING.THRESHOLD=0.3",
    "TEXT_ORDERING.PARAGRAPH_BREAK=0.035",
    "LAYOUT_LINK.PARENTAL_CATEGORIES=['figure','table']",
    "LAYOUT_LINK.CHILD_CATEGORIES=['caption']",
]

analyzer = dd.get_dd_analyzer(config_overwrite=config_overwrite)

Ключевые параметры:

• WORD_MATCHING.RULE=ioa определяет, как слова привязываются к блокам макета (по пересечению площадей)
• TEXT_ORDERING.PARAGRAPH_BREAK=0.035 задаёт порог разрыва абзаца как долю высоты страницы
• LAYOUT_LINK связывает подписи с рисунками и таблицами автоматически

5. Запустите конвейер на документе

from pathlib import Path

PDF = Path("/content/docs/paper.pdf")

df = analyzer.analyze(path=PDF, max_datapoints=3)
df.reset_state()
pages = list(df)
print(f"Обработано страниц: {len(pages)}")

Параметр max_datapoints=3 ограничивает обработку тремя страницами, это удобно для отладки. Для полного документа уберите этот аргумент.

6. Извлеките текст, блоки и структуру

page = pages[0]

# Текст в порядке чтения
print(page.text[:500])

# Блоки макета с порядковыми номерами
for doc_id, img_id, pno, ann_id, order, cat, txt in page.chunks[:12]:
    print(f"[{order:>3}] {str(cat):<15} {txt[:70]}")

Объект page.chunks возвращает кортежи, где order отражает порядок чтения, а cat содержит категорию блока (параграф, заголовок, таблица). Для русскоязычных документов порядок чтения восстанавливается корректно, включая двухколоночные макеты.

7. Экспортируйте результат в JSONL для поиска и RAG

import json

out_path = Path("/content/out/chunks.jsonl")
with open(out_path, "w", encoding="utf-8") as f:
    for doc_id, img_id, pno, ann_id, order, cat, txt in page.chunks:
        record = {
            "page": pno,
            "order": order,
            "category": str(cat),
            "text": txt
        }
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

Каждая строка JSONL содержит один блок документа с метаданными. Такой формат напрямую подходит для загрузки в RAG-систему (Retrieval-Augmented Generation, генерация ответов с поиском по базе знаний).

Как выглядит результат на практике?

import re

for chunk in page.chunks:
    text = chunk[-1]
    dates = re.findall(r'\d{2}\.\d{2}\.\d{4}', text)
    amounts = re.findall(r'\d[\d\s]*[,\.]\d{2}', text)
    if dates or amounts:
        print(f"Даты: {dates}, Суммы: {amounts}")

Что делать с этим прямо сейчас?

ML-инженеру и разработчику. Соберите конвейер на своих данных, начиная с трёх страниц (max_datapoints=3). Проверьте качество на русскоязычных документах и решите, нужен ли Tesseract вместо DocTR. Готовый JSONL-экспорт подключается к любой RAG-системе без промежуточных конвертаций.

Автору Дзена. Нейросеть для обработки документов пригодится, если вы работаете с большими PDF (исследования, отчёты) и хотите быстро вытащить структурированный текст для статьи. Один скрипт заменяет ручное копирование из PDF.

Предпринимателю. Конвейер работает полностью локально. Не нужны платные API, не нужно отправлять конфиденциальные документы в облако. Для старта хватает бесплатного Colab с GPU.

Deepdoctection остаётся открытой библиотекой (опенсорс), и порог входа снизился до одного вызова get_dd_analyzer. Если ваша задача распознавать российские документы в продакшене, начните с десятка реальных файлов и замерьте точность, прежде чем автоматизировать весь поток.