RAG на 2181 рецепте: шесть ловушек, о которых молчат туториалы

Автор оригинального разбора, программист, не специалист по данным, выбрал RAG вместо дообучения (fine-tuning, обучение модели на собственных данных) по прагматичной причине: подход переносим между любыми моделями и площадками размещения. Но «быстро запилить RAG» и получить качественный результат, который не разорит на токенах (единицах текста, за которые платите при каждом запросе к модели), оказалось не одно и то же. Репозиторий с полным кодом опубликован на GitHub.

Какую задачу решаем?

Есть база из 2181 рецепта на русском языке. Каждая запись содержит текст рецепта и метаданные: тип блюда, ингредиенты, аллергены, КБЖУ на 100 граммов. Над базой работает ИИ-агент (автономная программа, которая сама принимает решения) в роли шеф-повара на модели gpt-5-nano.

Пользователь говорит: «2000 ккал в день, три приёма пищи, аллергия на глютен». Агент собирает меню только из рецептов базы.

От RAG требуется ровно две вещи:

• Найти действительно подходящие рецепты.
• Не завалить модель лишним текстом: gpt-5-nano хуже справляется с длинным зашумлённым контекстом, а за каждый лишний токен приходится платить.

Что понадобится

• Python 3.10+ и базовое владение языком.
• Qdrant (векторная база данных, хранилище, где тексты представлены числовыми векторами для быстрого поиска по смыслу). Можно поднять локально через Docker.
• Доступ к API OpenAI (модели эмбеддингов text-embedding-3-small или text-embedding-3-large, модель gpt-5-nano для генерации).
• Репозиторий проекта: github.com/2union/AutoRAGDemo. Два ключевых скрипта лежат в папке DirectIndex.
• Время: базовую версию «в лоб» можно запустить за 30 минут. Разбор ограничений и доработка займут от нескольких часов до пары RAG days (дней целиком посвящённых настройке пайплайна поиска и генерации).

Пошаговая инструкция: RAG «в лоб»

1. Подготовьте данные. Загрузите 2181 рецепт в формате, где каждая запись содержит поле text (текст рецепта) и metadata (тип блюда, ингредиенты, аллергены, КБЖУ).

2. Создайте индекс в Qdrant. Скрипт index_qdrant.py разбивает документы на батчи, превращает текст каждого рецепта в вектор через модель эмбеддингов и загружает точки в коллекцию:

# Фрагмент index_qdrant.py
# Полный код: github.com/2union/AutoRAGDemo/blob/main/DirectIndex/index_qdrant.py
for i in range(0, len(docs), batch_size):
    batch = docs[i:i + batch_size]
    vectors = embed([d["text"] for d in batch])
    points = [
        PointStruct(
            id=str(uuid.uuid5(uuid.NAMESPACE_URL, doc["id"])),
            vector=vector,
            payload={**doc["metadata"], "text": doc["text"],
                     "recipe_id": doc["id"]},
        )
        for doc, vector in zip(batch, vectors)
    ]
    qdrant.upsert(collection_name=COLLECTION, points=points)

1. Запустите сервер запросов. Скрипт rag_server.py принимает POST-запрос с параметрами пользователя (калории, число приёмов пищи, аллергии), склеивает их в текстовый промпт (текстовая инструкция для модели), превращает в вектор и ищет ближайшие рецепты:

# Фрагмент rag_server.py
# Полный код: github.com/2union/AutoRAGDemo/blob/main/DirectIndex/rag_server.py
vector = embed_query(query)
result = qdrant.query_points(
    collection_name=COLLECTION,
    query=vector,
    query_filter=build_filter(req),
    limit=req.top_k * 2,
    with_payload=True,
)

1. Отправьте тестовый запрос на эндпоинт POST /menu с параметрами: kcal_target=2000, meals_per_day=3, allergies=["глютен"]. Сервер вернёт меню, собранное из рецептов базы.

2. Оцените результат глазами и зафиксируйте, что именно пошло не так. Скорее всего, вы столкнётесь с одной или несколькими проблемами из списка ниже.

Шесть ловушек подхода «в лоб»

Эмбеддинг не понимает чисел и отрицаний. Вектор строки «Ккал в день: 2000, Аллергии: глютен» не означает «рецепты на 2000 ккал без глютена». Модель эмбеддингов кодирует смысловую близость текста, а не логику. Слово «глютен» в запросе скорее приблизит к рецептам с глютеном, чем отдалит от них. Та же история с идентификаторами недавних блюд: они просто попадают в текст запроса и никак не исключаются из выдачи.

Один запрос на всё меню. Меню состоит из основного блюда, супа, салата, напитка и десерта. А запрос один. В базе 1550 основных блюд из 2181, поэтому в выдаче почти наверняка доминируют именно они. Напитков и десертов модели может просто не достаться.

Векторизуется полный текст с шагами приготовления. В поле text лежат и «разогрейте духовку до 175 °C», и «выпекайте 25 минут». Для выбора блюда в меню это шум: он размывает вектор и раздувает контекст.

Только dense-поиск. Векторный поиск хорошо ловит общий смысл, но промахивается на конкретных словах: «панчетта», «соус Вустершир», «нут». Лексический поиск BM25 (классический полнотекстовый поиск по совпадению слов) часто точнее для таких запросов, а лучше всего работает комбинация обоих методов, гибридный поиск. Но какая комбинация и с какими весами? Без метрик это гадание.

Фильтр аллергенов сравнивает строки точно. В данных молоко встречается как «Молоко», «Молочные продукты», «Молочный белок», «Молочный», «Сливочное масло». Пользователь с аллергией на «молоко» получит рецепт с «Молочным белком». Это уже вопрос не качества поиска, а безопасности.

Нечем измерить качество. Почему text-embedding-3-small, а не large? Почему top_k = 40, а не 5? Нужен ли реранкер (дополнительная модель, которая пересортировывает результаты поиска по релевантности)? Без метрик любое изменение превращается в гадание: поменяли модель, посмотрели глазами на пару запросов, вроде стало лучше. А может стало хуже, но попалась удачная пара примеров.

Ловушки 1, 2 и 5 решаются программно: фильтрами Qdrant и отдельными запросами на каждый слот меню. Ловушки 3, 4 и 6 требуют экспериментов с метриками: подбор модели эмбеддингов, способа поиска, гибридных весов, реранкера, размера контекста. Именно на эти RAG days уходит основное время.

Что делать с этим по ролям?

Программисту или техлиду. Склонируйте репозиторий, запустите базовую версию, воспроизведите все шесть ловушек на своих данных. Это займёт один вечер и покажет, где ваш RAG теряет качество. Выделите один-два RAG days на эксперименты с метриками.

Автору Дзена или копирайтеру. Если вы строите контентного бота, который отвечает по вашей базе статей, логика та же: не индексируйте весь текст, выделите ключевые фрагменты. И обязательно проверяйте, что бот не галлюцинирует (галлюцинация означает, что модель уверенно выдумывает то, чего не было в ваших данных).

Предпринимателю в РФ и СНГ. RAG работает с любой моделью, включая доступные в России YandexGPT и GigaChat. Принцип тот же: данные хранятся у вас, модель получает только нужный контекст. Векторная база Qdrant бесплатна и разворачивается на своём сервере, данные не уходят за периметр.

Полный код обоих скриптов и база рецептов доступны в репозитории github.com/2union/AutoRAGDemo. Начните с базовой версии, воспроизведите ошибки, заведите тестовые запросы и только потом меняйте модель или добавляйте гибридный поиск: так каждое изменение будет измеримым, а не интуитивным.