RAG нейросети ломается на корпоративных документах: как починить нарезку текста

Команда российских разработчиков описала опыт создания внутреннего «Помощника для сотрудника», сервиса, который отвечает на вопросы по более чем тремстам внутренним регламентам: от тендеров и договорной работы до командировок и информационной безопасности. Первый прототип RAG «по учебнику» заработал за несколько дней, но при проверке реальными вопросами начал путать этапы процессов, терять условия и называть не те роли. Проблема оказалась не в модели, а в подготовке документов.

Почему обычная нарезка текста убивает смысл?

Корпоративный регламент устроен иначе, чем статья из интернета. Смысл в нём часто существует только вместе со структурой:

• Пункты вида 5.3.1.2 с вложенными подпунктами
• Таблицы с объединёнными ячейками и матрицами ответственности
• Примечания, ссылки на другие разделы, десятки внутренних сокращений
• Условия и исключения, которые разнесены по разным частям документа

Стандартный чанкер (инструмент, который режет документ на фрагменты фиксированной длины для загрузки в векторную базу) не понимает этой семантики. Если ему задано нарезать по тысяче символов, он режет ровно по тысяче. В результате условие попадает в один фрагмент, действие в другой, исключение в третий. Каждый фрагмент может быть похож на вопрос пользователя, но ни в одном нет полного правила.

Разработчики описали показательный случай. На вопрос о сроках подготовки коммерческого предложения система уверенно назвала четыре рабочих дня. Число действительно было в регламенте, но относилось к другому этапу процесса. Шапка таблицы попала в один чанк, строки со сроками в другой. Модель получила число, но потеряла его связь с колонкой. Формально она ничего не выдумала, фактически ответ был неверным.

Именно на этом примере команда зафиксировала ключевой вывод: проблема начинается раньше поиска по векторам. Документ сначала надо правильно прочитать. Увеличивать количество возвращаемых фрагментов или менять параметры модели здесь бесполезно.

Что понадобится

• Модель для генерации ответов: в описанном проекте использовали gpt-oss-120b на выделенном сервере с NVIDIA RTX PRO 6000 Blackwell (96 ГБ видеопамяти). Для экспериментов подойдёт любая сильная модель с большим контекстным окном
• Модель для эмбеддингов (векторных представлений текста, по которым ищутся похожие фрагменты): команда после тестов на русскоязычных документах выбрала GigaEmbeddings-instruct от Cloud.ru
• Реранкер (модель, которая пересортировывает найденные фрагменты по релевантности): bge-reranker-v2-m3
• Мультимодальная модель (модель, работающая и с текстом, и с изображениями) для обработки схем и визуального контента: Qwen3.6-35B-A3B
• Векторная база данных: Qdrant
• Оркестратор (инструмент, который связывает все шаги в цепочку): n8n
• Время: первый прототип собирается за несколько дней, но доводка RAG на корпоративных документах до рабочего качества занимает значительно больше

Пошаговая инструкция

1. Разделите pipeline на два контура: индексацию и поиск. Не пытайтесь решить всё одной моделью. Индексация это подготовка документов до того, как пользователь задаст вопрос. Поиск это то, что происходит в момент запроса.

2. На этапе индексации извлеките содержимое из всех форматов. DOCX, PDF, страницы Confluence, вложения. Текстовое содержимое обрабатывайте отдельно от визуального: схемы, изображения и сложные PDF-страницы пропускайте через мультимодальную модель, чтобы превратить их в текстовое описание.

3. Откажитесь от нарезки по фиксированной длине. Это главный шаг. Нарезайте документ с учётом его структуры: заголовок раздела, шапка таблицы и строки данных должны оставаться вместе. Каждый чанк должен содержать полное правило, а не его часть.

4. Сохраняйте в каждом чанке метаданные: название документа, номер раздела, заголовки верхних уровней. Без этого модель не сможет сослаться на конкретный пункт регламента.

5. Постройте эмбеддинги специализированной моделью для русского языка. Общие англоязычные модели хуже работают с канцелярскими конструкциями и корпоративными сокращениями.

6. Используйте гибридный поиск: совмещайте векторный поиск (по смыслу) с полнотекстовым (по ключевым словам). Корпоративные сокращения и номера пунктов часто не ловятся одним только семантическим поиском.

7. Добавьте реранкер после первичного поиска. Он пересортирует найденные фрагменты и отсеет те, которые семантически похожи, но относятся к другому процессу.

8. В промпте для генерации ответа явно укажите: отвечать строго по переданным фрагментам, ссылаться на конкретный документ и пункт, при нехватке информации говорить «недостаточно данных».

Системный промпт (пример):
Ты помощник сотрудника. Отвечай ТОЛЬКО на основании предоставленных фрагментов документов.
В ответе обязательно укажи: название документа, номер пункта, прямую цитату.
Если в предоставленных фрагментах нет информации для ответа — скажи:
«Я не нашёл ответа в загруженных регламентах».
Не дополняй ответ собственными знаниями.

1. Тестируйте не на абстрактных запросах, а на реальных вопросах сотрудников. Именно на них вскрываются ошибки чанкирования. Заведите таблицу: вопрос, ожидаемый ответ, фактический ответ, какие чанки получила модель.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Если вы работаете с заказчиками из корпоративного сектора, понимание ловушек RAG на корпоративных документах даёт конкретное преимущество: вы можете предложить не просто «загрузить базу знаний в нейросеть», а грамотно подготовить документы для неё. Это отдельная и востребованная задача.

Маркетологам. RAG на внутренних документах уже используется в крупных компаниях для ответов на вопросы сотрудников. Следующий шаг: такие же системы для клиентских баз знаний. Если ваша компания думает о внедрении, начните с аудита того, как устроены ваши документы, и сразу закладывайте бюджет на их структурную подготовку, а не только на «подключение ИИ».

Предпринимателям из РФ и СНГ. Все упомянутые инструменты доступны в России: Qdrant и n8n разворачиваются на собственных серверах, GigaEmbeddings от Cloud.ru работает с русским языком, серверы с нужными видеокартами можно арендовать у российских провайдеров. Из российских аналогов для генерации ответов можно рассмотреть YandexGPT и GigaChat, хотя для задач с большим контекстным окном стоит тестировать каждую модель на ваших документах отдельно.

Главный урок этого кейса укладывается в одну фразу: RAG на корпоративных документах начинается не с векторной базы, а с того, как вы нарезали документ. Если шапка таблицы оторвана от данных, никакая модель не соберёт из обрывков правильный ответ. Начните с десяти самых частых вопросов сотрудников, проверьте, какие фрагменты получает модель, и вы увидите, где именно ломается ваш pipeline.