Пиксельный RAG нейросети ищет по картинкам страниц: парсить PDF больше не нужно

Разработчик опубликовал открытый туториал, где собирается полный пайплайн с нуля: веб-страницы и PDF превращаются в изображения, делятся на перекрывающиеся плитки, индексируются мультимодальными (работающими одновременно с текстом и картинками) эмбеддингами через SigLIP, CLIP или Qwen3-VL, а поиск идёт по векторному индексу FAISS. Дополнительно подключается OCR-гибрид с BM25 и reciprocal rank fusion для повышения точности. Результат отдаётся через FastAPI-сервис.

Ниже адаптированная инструкция с акцентом на работу с кириллицей.

Что понадобится?

• Python 3.10+ и менеджер пакетов pip
• Google Colab (бесплатный GPU-тариф подойдёт) или локальная машина с 8+ ГБ RAM
• Библиотеки: transformers, faiss-cpu, pymupdf, pillow, playwright, rank-bm25, pytesseract, torch, sentencepiece
• Tesseract OCR с русскоязычным пакетом (tesseract-ocr-rus), без него кириллица в гибридном поиске не распознаётся
• Браузер Chromium (устанавливается автоматически через Playwright)
• Время: первая настройка занимает 10-15 минут, индексация пяти документов ещё 5-7 минут

Пошаговая инструкция

1. Установите зависимости и Chromium. В Colab или терминале выполните:

pip install pillow numpy faiss-cpu pymupdf transformers fastapi uvicorn requests matplotlib tqdm rank-bm25 playwright sentencepiece pytesseract torch torchvision
python -m playwright install --with-deps chromium
apt-get install -y tesseract-ocr tesseract-ocr-rus

Пакет tesseract-ocr-rus добавляет русскоязычную модель распознавания. Без него OCR-ветка гибридного поиска будет игнорировать кириллицу.

1. Подготовьте конфигурацию. Создайте объект Config и укажите URL-адреса документов. Для кириллицы замените англоязычные Wikipedia-ссылки на русскоязычные:

from dataclasses import dataclass, field
from typing import List

@dataclass
class Config:
    urls: List[str] = field(default_factory=lambda: [
        "https://ru.wikipedia.org/wiki/Генеративный_искусственный_интеллект",
        "https://ru.wikipedia.org/wiki/Векторная_база_данных",
        "https://ru.wikipedia.org/wiki/Трансформер_(модель_машинного_обучения)",
    ])
    tile_width: int = 1024
    tile_height: int = 1024
    tile_overlap: int = 128
    backend: str = "siglip"
    model_id: str = "google/siglip-base-patch16-224"
    use_ocr_hybrid: bool = True
    top_k_tiles: int = 20
    n_docs: int = 5

Параметры tile_width и tile_height задают размер плиток в пикселях. Перекрытие tile_overlap (128 пикселей) гарантирует, что текст на границе не обрежется.

1. Отрендерите страницы как изображения. Playwright открывает каждый URL в безголовом Chromium и делает полностраничный скриншот. PDF-файлы рендерятся через PyMuPDF. Максимальная высота страницы ограничена параметром max_page_height (24 000 пикселей), чтобы не переполнить память.

2. Нарежьте изображения на перекрывающиеся плитки. Каждый скриншот делится на фрагменты заданного размера. Пустые плитки (стандартное отклонение пикселей ниже порога blank_std_threshold = 6.0) отбрасываются. Дубликаты удаляются по расстоянию Хэмминга (порог dedup_hamming = 4).

3. Сгенерируйте эмбеддинги (векторные представления плиток). Каждый фрагмент прогоняется через мультимодальную модель SigLIP, CLIP или Qwen3-VL. На выходе получается вектор фиксированной длины. Батч-размер по умолчанию 8.

4. Постройте FAISS-индекс. Векторы складываются в индекс FAISS (библиотека для быстрого поиска ближайших соседей). При количестве плиток свыше 2 000 автоматически используется IVF-индекс с параметром ivf_nprobe = 16.

5. Подключите OCR-гибрид для кириллицы. Tesseract извлекает текст из каждой плитки. Для русского языка укажите язык явно:

import pytesseract

text = pytesseract.image_to_string(tile_image, lang="rus")

Извлечённые тексты индексируются алгоритмом BM25. Финальный ранжир объединяет визуальный (dense) и текстовый (sparse) поиск через reciprocal rank fusion (RRF, метод слияния двух списков результатов, где каждому элементу присваивается вес, обратный его позиции).

1. Запустите поиск. Отправьте текстовый запрос. Система найдёт ближайшие плитки, агрегирует результаты до уровня документов и вернёт топ-5 страниц с визуальными фрагментами-доказательствами.

Что это даёт на практике, по ролям?

Авторам Дзена. Если вы работаете с PDF-источниками (исследования, отчёты, презентации), пиксельный RAG нейросети позволяет искать по визуальному содержимому, а не мучиться с копипастом из сканов. Загрузите пять-десять ключевых источников, постройте индекс и задавайте вопросы на русском.

Маркетологам. Конкурентный анализ по скриншотам лендингов, медиакитов, PDF-прайсов: система находит визуально похожие фрагменты без ручного разбора. Полезно, когда источники приходят картинками в мессенджере.

Предпринимателям в РФ. Все компоненты открытые и бесплатные. FAISS, SigLIP, Tesseract работают локально, данные не уходят на внешние серверы. Для продакшена нужен сервер с GPU: подойдёт арендованный инстанс на Yandex Cloud или Selectel.

Пиксельный RAG нейросети пока не заменит классический текстовый пайплайн для чистых HTML-страниц, но для визуально насыщенных документов на кириллице это работающий способ обойти сломанный парсинг и получить поиск, который видит то же, что видите вы.