ИИ в тестировании после сбоя: RAG-помощник может вернуть сотрудникам отозванные права

Речь о RAG-приложениях. Это ИИ-помощник, который перед ответом ищет нужный фрагмент в вашей базе документов, примерно как сотрудник, который сначала заглядывает в регламент. Михаил Витко, менеджер PaaS-продуктов Рег.облака, во второй части статьи на Хабре разбирает, как собрать согласованный набор для восстановления. В первой части он описал, какие данные такого помощника включать в резервные копии.

Главная мысль автора: копии разных хранилищ, сделанные примерно в одно время, ещё не дают работающую систему. По сути, это ИИ в тестировании наоборот: проверяют не модель, а то, на какие данные она опирается после отката.

Как три целых хранилища дают неверный ответ?

Автор приводит пример с документом doc-42:

• в 12:00 у него редакция 1 со сроком возврата 14 дней;
• в 12:03 загрузили редакцию 2 со сроком 30 дней;
• в 12:04 база переключила активную редакцию;
• в 12:05 обработчик закончил обновлять поисковый индекс.

Если восстановить базу на 12:04, а индекс на 12:00, помощник ответит по старому тексту. Если добавить файл на 12:05, ссылка на источник откроет новый регламент, который противоречит ответу. При этом все три хранилища проходят собственные проверки целостности.

Второй сценарий опаснее. После резервного копирования сотруднику закрыли доступ, а откат таблицы разрешений вернул ему прежние права, и восстановление прошло без единой ошибки.

Что понадобится для проверки?

• PostgreSQL (база данных), где хранится каталог документов и фрагментов.
• Qdrant (векторное хранилище, где лежат «смысловые отпечатки» текстов для поиска).
• S3 (облачное хранилище файлов) с включёнными версиями объектов.
• Отдельный сервис политик доступа, независимый от основной базы.
• Окно паузы, в которое бизнес готов обходиться без новых загрузок документов.

Как пройти проверку по шагам?

1. Дайте каждому документу «паспорт». Сохраните организацию, документ, редакцию, точный ключ или версию в S3 и SHA-256 (цифровой отпечаток файла, который меняется при любой правке).
2. Для каждого фрагмента храните chunk_id, хеш текста и pipeline_id, идентификатор конвейера обработки. В нём должны однозначно читаться версии парсера, правила разбиения, токенизатор, модель эмбеддингов (перевода текста в числа) и её ревизия, размерность, нормализация и метрика расстояния.
3. Запишите эти поля в PostgreSQL как каталог ожидаемых фрагментов, а в Qdrant добавьте в служебные данные каждой точки. Хеш текста связывает вектор с конкретным фрагментом.
4. Публикуйте корпус поколениями. В примере автора поколение g42 и коллекция kb_g42 после публикации не меняются, новые редакции идут в следующее поколение.
5. Поставьте паузу на уровне приложения: загрузку, редактирование, публикацию поколений и фоновые записи, включая интеграции в обход API. Отзывы доступа и удаления продолжайте фиксировать в сервисе политик, запрет действует сразу.
6. Дождитесь завершения принятых операций. Пустая очередь ничего не гарантирует, пока обработчик ещё пишет данные.
7. Зафиксируйте g42, точные редакции и каталог фрагментов, убедитесь, что коллекция содержит именно их. Сделайте дамп PostgreSQL и снимок kb_g42.
8. Сверьте наличие всех частей и их SHA-256, последним опубликуйте манифест (опись набора) со статусом complete. Набор без такого манифеста к восстановлению не допускайте, затем снимите паузу.

Что делать с этим прямо сейчас, по ролям

Автору Дзена с ИИ-помощником на своей базе статей: спросите подрядчика, хранятся ли редакции документов и не ответит ли бот по старой версии после отката.

Маркетологу: если бот отвечает клиентам про сроки возврата и цены, расхождение редакций превращается в публичную ошибку. Добавьте в регламент проверку ответов после каждого восстановления.

Предпринимателю в РФ и СНГ: схема описана российским провайдером и опирается на PostgreSQL, S3 и Qdrant, поэтому от зарубежных сервисов не зависит. Схема с паузой подходит, если база обновляется пакетами, например один или два раза в день.

Проверьте одно: вернёт ли ваш помощник после отката доступ сотруднику, который уже уволился. Если ответа нет, начните со второго шага.