SecurityMedia выложила бесплатную базу киберугроз для LLM-агентов: весь стек на одном сервере

Стандартные RAG-пайплайны (Retrieval-Augmented Generation, когда ИИ-агент ищет ответ по внешней базе документов) хорошо работают с однородными текстами. Но данные Threat Intelligence (TI, разведка киберугроз) устроены иначе: вчерашний бюллетень об атаке ценнее пересказа двухлетней давности, а строка с конкретным номером уязвимости важнее целого абзаца с общими словами про VPN. Авторы проекта на securitymedia.org детально описали, как они решили эту задачу на минимальном наборе компонентов.

Что решает проект и почему это не «ещё один поиск по PDF»?

• Разбиение по смыслу, а не по количеству токенов. Текст делится на фрагменты по границам разделов документа. Это значит, что ИИ-агент получает цельный контекст, а не обрезанный на полуслове кусок.

• Автоматическое извлечение IoC. Система находит в тексте CVE-номера (идентификаторы уязвимостей), IP-адреса, домены, URL, хэши файлов, техники MITRE ATT&CK (классификатор методов атак) и названия вредоносного ПО. Для этого используются регулярные выражения и словари, без отдельной модели.

• Учёт свежести по типу документа. Новость об атаке теряет ценность быстро, а справочное описание старой уязвимости остаётся полезным годами. Система различает эти случаи при ранжировании результатов.

• Прозрачность ответа. Каждый найденный фрагмент возвращается с источником, URL, датой публикации и объяснением оценки. ИИ-агент не просто получает текст, он знает, откуда текст взялся.

• Минимальный стек без Redis, Celery и графовой БД. Очередь задач из четырёх состояний живёт прямо в Postgres. Связи между сущностями хранятся в обычных таблицах. Это упрощает развёртывание и отладку.

• Дедупликация до скачивания. При повторном сборе RSS система проверяет дубли по нескольким признакам ещё до загрузки полной статьи, что экономит и трафик, и ресурсы процессора.

Стек целиком помещается на один сервер

Авторы выбрали FastAPI для приёма запросов, Postgres с расширением pgvector для хранения документов, фрагментов, сущностей и векторных представлений, а MinIO для исходных файлов. Модель BAAI/bge-m3 превращает каждый фрагмент текста в набор чисел (вектор), описывающий его смысл. Все вычисления идут локально.

Для PDF используется PyMuPDF, а если страница почти пустая, подключается оптическое распознавание Tesseract. RSS обрабатывается в два шага: сначала заголовок и ссылка, затем полный текст. CVE принимаются как готовые JSON-записи.

Каждый обработанный документ записывается одной транзакцией: либо в базе появляется всё, либо ничего. Полусобранного документа с текстом, но без векторов, остаться не может.

Первый сбор RSS обрушил систему, и это оказалось полезно

Показательная деталь из разбора: при загрузке 48 RSS-лент с лимитом до 100 записей на источник контейнер API упал на 374-м документе с ошибкой нехватки памяти. Один ответ FeedBurner прокачал около 1,3 ГБ трафика. Задание осталось в статусе «выполняется», хотя выполнять его было уже некому.

Авторы вынесли из этого конкретные уроки: разделили API и фоновый обработчик, добавили восстановление «зависших» заданий и стали обновлять статус чаще. Этот опыт ценен для любого, кто строит подобные пайплайны: сбой на реальных данных обнажает проблемы, невидимые на тестовых.

Как попробовать?

1. Перейдите на securitymedia.org и найдите репозиторий проекта с исходным кодом и документацией.
2. Разверните стек локально: потребуются Docker, Postgres с pgvector и MinIO. Всё помещается на одну машину.
3. Загрузите первые источники: PDF-отчёты, RSS-ленты или CVE-записи через HTTP API (FastAPI).
4. Подключите своего LLM-агента к API поиска и проверьте, как система возвращает фрагменты с атрибуцией источника.

Есть ли аналоги в России?

Прямого аналога, открытой TI-базы, заточенной под LLM-агентов, в российских продуктах пока нет. Существуют коммерческие платформы Threat Intelligence от «Лаборатории Касперского» (Kaspersky Threat Intelligence Portal) и Positive Technologies (PT Threat Analyzer), но они работают как классические TI-сервисы, без встроенной интеграции с языковыми моделями. YandexGPT и GigaChat могут анализировать тексты по кибербезопасности, если подать им контекст вручную, но готового пайплайна с извлечением IoC и ранжированием по свежести у них нет.

Описанный проект интересен именно тем, что его можно развернуть на локальной инфраструктуре и подключить к любой модели, включая российские.

Частые вопросы

Нужно ли платить за использование?

Нет. Проект опубликован как открытый, все компоненты (Postgres, pgvector, MinIO, FastAPI) тоже бесплатны. Модель BAAI/bge-m3 для построения векторов работает локально, без платных API.

Можно ли использовать это не для кибербезопасности?

Архитектура универсальна: разбиение по границам разделов, извлечение сущностей, атрибуция источников и учёт свежести пригодятся в любой области, где документы устаревают с разной скоростью. Придётся заменить правила извлечения сущностей (вместо CVE-номеров, например, номера судебных дел или артикулы товаров), но каркас останется тем же.

Справится ли обычный ноутбук?

Для тестирования с несколькими десятками документов, да. Модель bge-m3 и pgvector работают на CPU. Но опыт авторов показывает, что при загрузке десятков RSS-лент с сотнями записей ресурсов нужно заметно больше: их контейнер упал на 374-м документе из-за нехватки памяти. Для рабочей инсталляции лучше выделить сервер с запасом оперативной памяти.