Игорь Градов
Игорь Градов
5 мин
ai

Агентный RAG на JVM в Смысл.ИИ: в модель уходят только найденные фрагменты

Создатель B2B-системы Смысл.ИИ разобрал устройство агентного RAG на JVM в момент, когда вакансии и туториалы по ИИ-агентам чаще всего строятся на Python, а живых продуктовых разборов на JVM заметно меньше.

Агентный RAG на JVM в Смысл.ИИ: в модель уходят только найденные фрагменты
Почему это важно

Агентный поиск по документам показан на работающем продукте для русского рынка. Корпус файлов остаётся внутри инфраструктуры компании, а в языковую модель уходят только найденные фрагменты.

RAG означает, что система сначала находит в ваших документах нужные куски текста, а потом нейросеть формулирует ответ строго по ним. Обычно это один проход: нашли, сложили в контекст, ответили. JVM, это виртуальная машина Java, среда, где работают программы на Java и Kotlin.

Автор системы описал архитектуру в обзорной статье, первой из серии из трёх. Главное отличие его схемы: у модели есть инструменты, и искать по материалам она может в несколько раундов, уточняя запрос и добирая фрагменты.

Какую задачу решает продукт? Сотрудник задаёт вопрос по внутренним документам компании и получает ответ с указанием источников. Опора идёт на файлы компании, а не на «знания модели из интернета». Без такой системы ответ ищут обходом папок и файловых хранилищ или через вопросы коллегам.

Есть и вторая боль, изоляция данных. Сотрудники отправляют фрагменты или целые файлы во внешний чат вроде ChatGPT «просто проанализировать», и корпус уходит за периметр компании. Автор прямо называет свою работу разбором продукта, а не готовым рецептом внедрения «под ключ».

Что понадобится, чтобы повторить схему?

  • Kotlin и Spring Boot для двух сервисов бэкенда.
  • LangChain4j, библиотека для работы с языковыми моделями на JVM.
  • Docling для разбора файлов и нарезки текста.
  • Apache Doris для поиска и хранения фрагментов, PostgreSQL для служебной части бэкенда.
  • Keycloak для входа пользователей, Caddy как прокси.
  • Объектное хранилище файлов, совместимое с протоколом S3.
  • Доступ к LLM по API. LLM здесь означает большую языковую модель вроде той, что стоит за ChatGPT. API, это программный канал, через который один сервис обращается к другому.
  • Valkey Streams для потоковой передачи ответа.
  • React для интерфейса.

Сроков разработки и бюджета автор не называет. Демо-контур размещён в VK Cloud.

Как собрать агентный RAG на JVM по шагам?

  1. Сузьте задачу. Нужен ответ на вопрос по корпусу документов с источниками. В задачу не входят система дистанционного обучения (LMS), замена всей базы знаний и платформа для агентов.
  2. Разделите бэкенд на два сервиса. Сервис data-processor загружает и обрабатывает файлы. Сервис assistant ведёт диалог, вызывает инструменты и генерирует ответ. По словам автора, так проще независимо развивать и выкатывать конвейер документов и ИИ-контур.
  3. Настройте загрузку. Система принимает PDF, DOCX, TXT, MD и HTML. Docling разбирает файл и режет его на чанки (небольшие фрагменты текста, по которым потом идёт поиск), а фрагменты записываются в индекс.
  4. Выберите один поисковый движок. Apache Doris совмещает полнотекстовый поиск по словам, семантический поиск по смыслу и хранение чанков. Отдельная связка «поисковик плюс векторная база» не нужна.
  5. Дайте модели инструменты. Вопрос уходит агенту, тот при необходимости вызывает поиск по материалам (tool) и только потом отвечает со ссылкой на найденное. Получается цикл, а не один запрос к модели «в лоб».
  6. Отправляйте в модель только найденное. В контекст уходят чанки или целые страницы, а не весь корпус.
  7. Решите потоковую передачу. Ответ печатается в браузере по кусочкам через SSE, технологию потоковой отправки данных клиенту. Генерация может идти на одной копии сервиса, а подключение пользователя прийти на другую. Поэтому токены (кусочки слов, из которых модель собирает ответ) пишутся в Valkey Streams и читаются оттуда.
  8. Соберите нативные образы. GraalVM Native Image ускоряет запуск и снижает накладные расходы по сравнению с обычной JVM, но сборка идёт дольше.
  9. Оставьте модель сменной. В демо подключён внешний провайдер. Тот же контур можно направить на модель в своём облаке или на собственных серверах компании (on-prem), если там развёрнута совместимая точка доступа.
Как это выглядит на практике

Автор показывает три экрана: библиотеку загруженных материалов, вопрос в чате и финальный ответ с источниками. Документы в библиотеке взяты из вымышленной демо-компании, а не у реального заказчика. Дословных вопросов и ответов из демо автор текстом не приводит, только скриншоты.

Частые ошибки
  • Отправлять весь корпус в модель. В Смысл.ИИ туда уходят только найденные фрагменты.
  • Считать агента одним вызовом модели. Агент ищет в несколько раундов, иначе это обычный RAG.
  • Плодить сервисы ради моды. У автора граница одна: документы отдельно, диалог отдельно.
  • Ждать от универсального движка максимальной скорости. Автор признаёт, что Qdrant сильнее как специализированная векторная база.
  • Забыть про цену нативной сборки: GraalVM удлиняет сборку.
  • Рассчитывать на готовый код. Исходники закрыты, публичного входа в демо нет, а авторизацию, повторные попытки и задачи по расписанию серия почти не разбирает.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Сама схема пригодится и вам: держите свои материалы в одном месте и просите нейросеть отвечать только по ним, с указанием, откуда взят факт. Так меньше галлюцинаций, то есть случаев, когда ИИ уверенно выдумывает то, чего не было.

Маркетологу. Ответы со ссылками на внутренние документы снимают часть рутинных вопросов к коллегам. Продуктовые описания, регламенты и брифы становятся рабочей базой, а не архивом.

Предпринимателю в РФ и СНГ. Смысл.ИИ работает на русском рынке, демо размещено в VK Cloud, а модель подключается по API и может стоять в вашем облаке. Из доступных в РФ языковых моделей есть YandexGPT и GigaChat; их совместимость с системой автор не описывал, уточняйте у разработчика.

Совет редакции dzen.guru

На мой взгляд, самое ценное в разборе, это честные компромиссы: один движок вместо лучшего специализированного, долгая сборка ради быстрого запуска. Начните с узкой задачи и проверьте, что ответы действительно ссылаются на ваши файлы. Оговорка: архитектура описана крупно, детали обещаны в двух следующих статьях, про конвейер документов и про агента. Я бы ждал вторую часть: именно там станет понятно, насколько схему реально повторить своими силами.

Хотите, чтобы нейросеть работала на ваш контент?

В dzen.guru мы тестируем ИИ-инструменты для авторов и показываем, как встроить их в работу без лишней техники.

Перейти в dzen.guru
Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Kubernetes учит автоскейлер понимать GPU: задачи зависают даже при свободном кластере
ai

Kubernetes учит автоскейлер понимать GPU: задачи зависают даже при свободном кластере

Сообщество Kubernetes учит планировщик и автоскейлер одинаково понимать оборудование, потому что с распространением ИИ задача на дорогом ускорителе может…

5 мин
Anthropic завершила стадию pre IPO: размещение на $81,3 млрд побило рекорд SpaceX
ai

Anthropic завершила стадию pre IPO: размещение на $81,3 млрд побило рекорд SpaceX

Anthropic, разработчик чат-бота Claude, продала акции по 83 доллара, выше заявленного диапазона, и привлекла 81,3 млрд долларов, проведя крупнейшее IPO в…

4 мин
ai

Claude Code AI мог сохранять пароли открытым текстом: на GitHub больше тысячи таких файлов

Пользователи Claude Code, хоть раз нажавшие «больше не спрашивать», могли сохранить пароли открытым текстом в файле проекта, и после того как в открытых…

5 мин