RAG-система ошибается чаще не из-за модели: KTS показала, как чинить ассистента через данные

Прототип на небольшом фрагменте данных обычно впечатляет заказчика. Но эффект рассыпается, когда систему подключают к полной корпоративной базе: большой, постоянно растущей и шумной. Пославская строит RAG-системы для корпоративных заказчиков больше двух лет и описала техники, которые помогают удерживать такие решения в рабочей эксплуатации.

Главная боль у всех одна: база знаний никогда не бывает идеальной. Автор приводит пример Confluence (корпоративной вики, где компании хранят инструкции и описания процессов).

Кто-то видел актуальный корпоративный Confluence, в котором каждая статья точно описывает существующий процесс? Вот и я такого Confluence не видела. : Катя Пославская, специалист по RAG-системам и ИИ-агентам в KTS

Коротко о главном:

Что нового в подходе KTS?

Сначала о сути. RAG-система ограничивает LLM (большую языковую модель, нейросеть, которая пишет текст), чтобы та отвечала по внутренней базе компании, а не по своим обучающим данным. На вопрос пользователя система находит в базе близкие по теме фрагменты и подкладывает их модели. Ключевые тезисы разбора:

• Классический RAG работает в один проход: пришёл вопрос, система один раз сходила в базу и ответила. Его просто строить и тестировать, а стоимость эксплуатации у него предсказуемая.
• Агентский RAG устроен как цикл. Модель сама решает, сколько раз искать и каким инструментом, и останавливается, когда сочтёт ответ полным. Такая система медленнее, дороже, у неё больше точек отказа, и проверять её сложнее.
• Гибридный подход. Дешёвая модель-маршрутизатор распределяет вопросы между двумя схемами. По словам автора, примерно 80% вопросов простые, и их выгодно отправлять по классической схеме.
• Порядок запуска. Начинать сразу с агентского RAG Пославская не советует: классическая схема всё равно понадобится как точка отсчёта для сравнения.
• Уборка базы. В KTS для этого есть модуль Data Validator. Он ищет дубликаты и противоречия и предлагает, что с ними сделать: объединить записи или убрать неактуальное в архив.

Показательная деталь: автор признаёт, что собственный инструмент KTS есть далеко не у всех. Поэтому разработчику чаще приходится работать с той базой, какая есть, и тогда всё решает правильная обработка данных.

Фрагменты по 100 токенов ломают ответы ассистента

Перед поиском документы режут на чанки (фрагменты текста). Огромная статья или стостраничный PDF целиком для поиска не годятся. Резать можно тремя способами:

• на равные по длине куски;
• по структуре документа, если в нём есть заголовки и разделы;
• по смысловым блокам, которые выделяет сама модель. Это дороже, но на документах, где вперемешку идут текст, таблицы и скриншоты, такой способ даёт хороший прирост качества.

Размер чанка считают в токенах (кусочках слов, которыми оперирует модель). Ориентиры автора такие:

• для базы «вопрос и ответ» около 200 токенов, чтобы пара целиком помещалась в один фрагмент;
• для обычных статей на русском примерно 1000 токенов;
• для плотных юридических документов ещё больше.

Автор описывает ассистента, который регулярно выдавал несусветные ответы, хотя модель и остальные настройки были в порядке. Причина оказалась в нарезке: базу разбили на фрагменты по 100 токенов.

В самом разборе конкретные модели не названы. Из доступных в РФ нейросетей можно смотреть на YandexGPT и GigaChat. Советы про чанки и чистоту базы касаются данных, а не выбора модели.

Как проверить свою RAG-систему по этим советам?

1. Посмотрите, каким размером нарезана база. Если фрагменты слишком короткие, ответы рвутся по смыслу.
2. Найдите в базе дубли и противоречащие друг другу статьи, а устаревшее уберите в архив.
3. Запустите сначала классическую схему и замерьте качество ответов. Только потом решайте, нужен ли агентский режим для сложных вопросов.

Кому и что делать с этим прямо сейчас?

Автору Дзена. Это готовая тема для экспертного поста: «почему корпоративный ИИ-ассистент врёт и кто на самом деле виноват». Тезис о том, что чаще ошибаются данные, а не модель, хорошо работает против привычного страха перед нейросетями.

Маркетологу. Если вы планируете бота для ответов клиентам, закладывайте бюджет не только на модель, но и на чистку базы знаний. Источник прямо называет риск выдать клиенту неверный ответ.

Предпринимателю в РФ и СНГ. Не судите о проекте по демонстрации на десятке документов. Попросите подрядчика показать работу на полной базе и спросите, как он режет документы и кто отвечает за актуальность статей.

Какие вопросы задают чаще всего?

Нужен ли сразу агентский RAG?

Нет. Автор советует начинать с классической схемы, а сложные вопросы отдавать агенту через модель-маршрутизатор, когда станет ясно, что простой схемы не хватает.

Почему ассистент выдумывает ответы?

По опыту автора, чаще всего виновата не модель, а данные и их нарезка: противоречия в базе, устаревшие статьи, слишком мелкие фрагменты.

С чего начать уборку базы?

С поиска дублей и противоречий. Именно это делает Data Validator в KTS, но первый проход вполне можно сделать руками: открыть базу и вычеркнуть всё, что описывает уже несуществующие процессы.