ПСМ тестировала RAG на 188 вопросах: ассистент нашёл документ, но всё равно ошибся

Разберём, как проверять ИИ-ассистента, который отвечает по вашим документам, до того как ему поверят сотрудники или клиенты. Речь про RAG: модель сначала ищет нужные куски в вашей базе документов, а потом пересказывает найденное, как стажёр со справочником. На выходе у вас будет план проверки из восьми шагов и список ловушек, на которые наступила команда ПСМ.

В прошлом материале автор из ПСМ рассказывал, как трёхнедельный пилот растянулся на три месяца. Команде пришлось сначала разбираться в собственных документах. Теперь у неё есть база знаний, настроенный поиск и сотни контрольных вопросов, а разбор «Как мы тестировали RAG: нашли документ, но всё равно ошиблись» показывает, где система промахивается на инженерных запросах.

94% текста на английском, а вопросы задают по-русски

Пилот построили на газопоршневой электростанции AGBa1000 мощностью 1 МВт. Команда проверяет гипотезу: возьмёт ли ассистент на себя рутинный поиск по десяткам разнородных заводских спецификаций и станет ли меньше вопросов к инженерам по типовым параметрам оборудования.

Что вошло в тестовую базу:

• 44 документа: руководства по эксплуатации, описания систем, технические листы, инструкции производителей комплектующих;
• 29 файлов PDF, 12 Word и 3 Excel;
• половина документов на русском, половина на английском;
• 27 007 поисковых фрагментов, то есть кусков текста, на которые система режет документы, чтобы быстро находить нужное место.

Здесь важнее не 44, а 94. Файлов на двух языках поровну, но 94% фрагментов английские: объёмные руководства производителей комплектующих написаны на английском. Инженер спрашивает по-русски, а ответ лежит в англоязычном паспорте двигателя, в таблице на 150-й странице или в файле, в названии которого нет даже обозначения установки.

Команда пошла двумя путями. Она встроила RAG-поиск в уже работающий корпоративный ассистент, чтобы сотрудники тестировали его и давали обратную связь. Параллельно она строит отдельную платформу с более строгой проверкой источников.

Что понадобится для такой проверки?

• Документы по одному изделию или теме, а не весь архив сразу.
• Специалисты, которые знают, где в документах правильный ответ. В ПСМ это профильные специалисты завода.
• Контрольный набор вопросов с эталонными ответами. У ПСМ основной набор состоит из 188 вопросов.
• Вторая, независимая модель, которая сверяет смысл ответа с найденными фрагментами.
• Запас времени: пилот ПСМ планировали на три недели, а он занял три месяца.

Пошаговая инструкция: как проверить RAG на своих документах

1. Разметьте документы. Отметьте, какой файл к какому изделию и комплектации относится. Иначе система не поймёт, какие данные применимы к вашему вопросу.
2. Посчитайте язык по фрагментам, а не по файлам. Двуязычная база с перекосом вроде 94 на 6 требует, чтобы поиск сопоставлял русские и английские термины.
3. Соберите вопросы на конкретные факты. Вместо «расскажи о станции» спрашивайте то, где в ответе есть число: режимы работы, электрические параметры, комплектация, регламенты технического обслуживания. Каждый вопрос записывайте по шаблону:

Вопрос: Сколько опор требуется для генератора станции AGBa1000 на 1000 кВт в режиме COP на газовом топливе?
Эталон: 2 опоры
Источник: техническое письмо производителя генераторов, таблица применяемости

1. Проверьте сами эталоны. Специалисты ПСМ выборочно сверили часть эталонов с первоисточниками. В 19 случаях ошибся не ИИ, а эталонный ответ, составленный при подготовке теста.
2. Сравнивайте автоматически, но помните о пределах. ПСМ сопоставляет извлечённые числа с эталоном, а смысл проверяет независимой моделью. Автор прямо оговаривает: это автоматический тест, а не экспертная приёмка.
3. Режьте таблицы по строкам. Рост результата дал переход от крупных кусков текста к индексации строк таблиц как отдельных фактов.
4. Подберите окно контекста. Это число найденных фрагментов, которые модель получает перед ответом. В ПСМ лучше сработали 10 фрагментов вместо 5.
5. Сравнивайте «до» и «после» по каждому вопросу. После доработки на 26 вопросов система стала отвечать правильно, а на 14 ответила хуже, чаще всего из-за необоснованного отказа искать данные. Отказы считайте отдельной строкой.

Документ в базе был, строка в таблице тоже была, а ассистент сообщил, что данных нет. Именно такие ошибки скрывает общий процент.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы пишете статьи по своим заметкам через ИИ-ассистента, сверяйте с первоисточником каждое число в тексте. Отказ «данных нет» тоже проверяйте вручную.

Маркетологу. Когда подрядчик продаёт бота по документам компании, спрашивайте не общий процент. Попросите контрольный набор, список ошибок и долю необоснованных отказов.

Предпринимателю в РФ и СНГ. Начните с одного изделия и пары сотен вопросов, как ПСМ. Среди доступных в России моделей есть YandexGPT и GigaChat, и проверять их на своей базе стоит той же методикой, особенно если документы двуязычные.