Агентный RAG на JVM в Смысл.ИИ: в модель уходят только найденные фрагменты
Создатель B2B-системы Смысл.ИИ разобрал устройство агентного RAG на JVM в момент, когда вакансии и туториалы по ИИ-агентам чаще всего строятся на Python, а живых продуктовых разборов на JVM заметно меньше.

Агентный поиск по документам показан на работающем продукте для русского рынка. Корпус файлов остаётся внутри инфраструктуры компании, а в языковую модель уходят только найденные фрагменты.
RAG означает, что система сначала находит в ваших документах нужные куски текста, а потом нейросеть формулирует ответ строго по ним. Обычно это один проход: нашли, сложили в контекст, ответили. JVM, это виртуальная машина Java, среда, где работают программы на Java и Kotlin.
Автор системы описал архитектуру в обзорной статье, первой из серии из трёх. Главное отличие его схемы: у модели есть инструменты, и искать по материалам она может в несколько раундов, уточняя запрос и добирая фрагменты.
Какую задачу решает продукт? Сотрудник задаёт вопрос по внутренним документам компании и получает ответ с указанием источников. Опора идёт на файлы компании, а не на «знания модели из интернета». Без такой системы ответ ищут обходом папок и файловых хранилищ или через вопросы коллегам.
Есть и вторая боль, изоляция данных. Сотрудники отправляют фрагменты или целые файлы во внешний чат вроде ChatGPT «просто проанализировать», и корпус уходит за периметр компании. Автор прямо называет свою работу разбором продукта, а не готовым рецептом внедрения «под ключ».
Что понадобится, чтобы повторить схему?
- Kotlin и Spring Boot для двух сервисов бэкенда.
- LangChain4j, библиотека для работы с языковыми моделями на JVM.
- Docling для разбора файлов и нарезки текста.
- Apache Doris для поиска и хранения фрагментов, PostgreSQL для служебной части бэкенда.
- Keycloak для входа пользователей, Caddy как прокси.
- Объектное хранилище файлов, совместимое с протоколом S3.
- Доступ к LLM по API. LLM здесь означает большую языковую модель вроде той, что стоит за ChatGPT. API, это программный канал, через который один сервис обращается к другому.
- Valkey Streams для потоковой передачи ответа.
- React для интерфейса.
Сроков разработки и бюджета автор не называет. Демо-контур размещён в VK Cloud.
Как собрать агентный RAG на JVM по шагам?
- Сузьте задачу. Нужен ответ на вопрос по корпусу документов с источниками. В задачу не входят система дистанционного обучения (LMS), замена всей базы знаний и платформа для агентов.
- Разделите бэкенд на два сервиса. Сервис data-processor загружает и обрабатывает файлы. Сервис assistant ведёт диалог, вызывает инструменты и генерирует ответ. По словам автора, так проще независимо развивать и выкатывать конвейер документов и ИИ-контур.
- Настройте загрузку. Система принимает PDF, DOCX, TXT, MD и HTML. Docling разбирает файл и режет его на чанки (небольшие фрагменты текста, по которым потом идёт поиск), а фрагменты записываются в индекс.
- Выберите один поисковый движок. Apache Doris совмещает полнотекстовый поиск по словам, семантический поиск по смыслу и хранение чанков. Отдельная связка «поисковик плюс векторная база» не нужна.
- Дайте модели инструменты. Вопрос уходит агенту, тот при необходимости вызывает поиск по материалам (tool) и только потом отвечает со ссылкой на найденное. Получается цикл, а не один запрос к модели «в лоб».
- Отправляйте в модель только найденное. В контекст уходят чанки или целые страницы, а не весь корпус.
- Решите потоковую передачу. Ответ печатается в браузере по кусочкам через SSE, технологию потоковой отправки данных клиенту. Генерация может идти на одной копии сервиса, а подключение пользователя прийти на другую. Поэтому токены (кусочки слов, из которых модель собирает ответ) пишутся в Valkey Streams и читаются оттуда.
- Соберите нативные образы. GraalVM Native Image ускоряет запуск и снижает накладные расходы по сравнению с обычной JVM, но сборка идёт дольше.
- Оставьте модель сменной. В демо подключён внешний провайдер. Тот же контур можно направить на модель в своём облаке или на собственных серверах компании (on-prem), если там развёрнута совместимая точка доступа.
Автор показывает три экрана: библиотеку загруженных материалов, вопрос в чате и финальный ответ с источниками. Документы в библиотеке взяты из вымышленной демо-компании, а не у реального заказчика. Дословных вопросов и ответов из демо автор текстом не приводит, только скриншоты.
- Отправлять весь корпус в модель. В Смысл.ИИ туда уходят только найденные фрагменты.
- Считать агента одним вызовом модели. Агент ищет в несколько раундов, иначе это обычный RAG.
- Плодить сервисы ради моды. У автора граница одна: документы отдельно, диалог отдельно.
- Ждать от универсального движка максимальной скорости. Автор признаёт, что Qdrant сильнее как специализированная векторная база.
- Забыть про цену нативной сборки: GraalVM удлиняет сборку.
- Рассчитывать на готовый код. Исходники закрыты, публичного входа в демо нет, а авторизацию, повторные попытки и задачи по расписанию серия почти не разбирает.
Что делать с этим прямо сейчас, по ролям
Автору Дзена. Сама схема пригодится и вам: держите свои материалы в одном месте и просите нейросеть отвечать только по ним, с указанием, откуда взят факт. Так меньше галлюцинаций, то есть случаев, когда ИИ уверенно выдумывает то, чего не было.
Маркетологу. Ответы со ссылками на внутренние документы снимают часть рутинных вопросов к коллегам. Продуктовые описания, регламенты и брифы становятся рабочей базой, а не архивом.
Предпринимателю в РФ и СНГ. Смысл.ИИ работает на русском рынке, демо размещено в VK Cloud, а модель подключается по API и может стоять в вашем облаке. Из доступных в РФ языковых моделей есть YandexGPT и GigaChat; их совместимость с системой автор не описывал, уточняйте у разработчика.
На мой взгляд, самое ценное в разборе, это честные компромиссы: один движок вместо лучшего специализированного, долгая сборка ради быстрого запуска. Начните с узкой задачи и проверьте, что ответы действительно ссылаются на ваши файлы. Оговорка: архитектура описана крупно, детали обещаны в двух следующих статьях, про конвейер документов и про агента. Я бы ждал вторую часть: именно там станет понятно, насколько схему реально повторить своими силами.
Хотите, чтобы нейросеть работала на ваш контент?
В dzen.guru мы тестируем ИИ-инструменты для авторов и показываем, как встроить их в работу без лишней техники.
Перейти в dzen.guru
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также

Kubernetes учит автоскейлер понимать GPU: задачи зависают даже при свободном кластере
Сообщество Kubernetes учит планировщик и автоскейлер одинаково понимать оборудование, потому что с распространением ИИ задача на дорогом ускорителе может…

Anthropic завершила стадию pre IPO: размещение на $81,3 млрд побило рекорд SpaceX
Anthropic, разработчик чат-бота Claude, продала акции по 83 доллара, выше заявленного диапазона, и привлекла 81,3 млрд долларов, проведя крупнейшее IPO в…
Claude Code AI мог сохранять пароли открытым текстом: на GitHub больше тысячи таких файлов
Пользователи Claude Code, хоть раз нажавшие «больше не спрашивать», могли сохранить пароли открытым текстом в файле проекта, и после того как в открытых…
Комментарии