Graph RAG позволил моделям с 2 млрд параметров решить задачу, которую без графа не решила ни одна

Энтузиаст воспроизвёл эксперимент из короткого ролика на YouTube, где автор сравнивал обычный RAG (retrieval-augmented generation, когда модель ищет ответ по набору текстов) и Graph RAG (когда те же тексты предварительно размечены как граф с сущностями и связями). Исходный тест использовал облачные модели Anthropic: Claude Haiku, Sonnet и Fable 5. Воспроизводящий автор справедливо заметил, что даже «маленькая» Haiku по возможностям далека от того, что реально запускается на потребительском железе, и повторил опыт на моделях размером от 2 до 20 миллиардов параметров, которые физически помещаются в видеокарту или ноутбук.

Какую задачу решает Graph RAG в этом тесте?

Модель должна ответить на вопрос: «Кто должен подписать возврат клиенту на 800 фунтов в марте?». Правильный ответ: Marcus Webb. Но информация для него разбросана по трём документам:

• Инструкция по возвратам (customer-ops-handbook.md): возвраты свыше 500 фунтов подписывает Operations Manager, но имени там нет
• Список сотрудников (team.md): Operations Manager это Sarah Chen, а фамилия Маркуса (Webb) тоже хранится здесь
• Письмо об отпуске (ooo-march-sarah.md): в марте Sarah Chen в отпуске, документы за неё подписывает Marcus

Ни в одном из этих файлов нет пересечения по ключевым словам «refund», «£800» и имени того, кто реально подписывает. Обычный поиск по ключевым словам ведёт модель к устаревшему файлу refunds-policy-2024-superseded.md, где пороги другие, роль другая и в шапке стоит пометка «superseded January 2026». Ещё одна ловушка: файл expenses.md тоже содержит слова «£500» и «approval», но речь в нём о командировках.

Многоходовое рассуждение (multi-hop reasoning, когда для ответа нужно последовательно связать факты из нескольких мест) здесь обязательно. Graph RAG решает проблему тем, что связи между сущностями (должность, человек, статус замещения) уже размечены до вызова модели.

Что понадобится

• Компьютер с GPU от 16 Гб видеопамяти или MacBook с 24 Гб оперативной памяти (в тесте: Nvidia RTX 4070 Ti Super 16 Гб и MacBook Air M2 24 Гб)
• LM Studio или HuggingFace для запуска моделей локально
• Модели в квантизации (сжатии весов для экономии памяти): автор использовал GPT-OSS-20b (mxfp4), Gemma-4-e2b (8bit), Llama 3.1 8b (4bit), xLAM-2-8b (8bit)
• Набор тестовых документов, размеченных как граф: онтология (описание типов сущностей и связей) плюс front-matter (метаданные в начале каждого файла с указанием сущностей и связей)
• Код для извлечения сущностей и связей из графа: детерминированный запрос на примерно 400 токенов, который выполняется до вызова модели
• Контекстное окно: 8 тысяч токенов (токен, это примерно три четверти слова, единица, которой модель измеряет текст)
• Репозиторий автора оригинального эксперимента на GitHub (ссылка указана в описании исходного материала)
• Время: около часа на настройку, если модели уже скачаны

Пошаговая инструкция

1. Скачайте и запустите модель локально. В LM Studio или через HuggingFace загрузите одну из моделей, умещающихся в вашу память. Для 16 Гб видеопамяти подойдут модели до 20 миллиардов параметров в квантизации 4bit. Установите контекстное окно в 8 тысяч токенов.

2. Подготовьте корпус документов. Создайте папку с текстовыми файлами. Включите и релевантные (инструкция, список сотрудников, письма), и нерелевантные (устаревшие политики, файлы про командировки). Это важно: ловушки проверяют, способна ли модель отсеивать шум.

3. Разметьте тексты как граф. Добавьте в каждый файл front-matter с указанием сущностей (люди, должности, суммы, даты) и связей между ними. Создайте файл онтологии, описывающий типы узлов и рёбер. Структура подробно описана в репозитории автора оригинального эксперимента.

4. Напишите детерминированный запрос для извлечения подграфа. Этот код выполняется до обращения к модели: он находит в графе узлы и связи, релевантные вопросу, и формирует из них текстовый контекст примерно на 400 токенов. Модель получает уже готовую выжимку связей, а не весь корпус.

# Псевдокод: извлечение подграфа до вызова LLM
question = "Кто должен подписать возврат на 800 фунтов в марте?"
entities = extract_entities(question)  # refund, сумма, март
subgraph = knowledge_graph.query(entities, depth=2)  # 2 хопа по связям
context = format_subgraph_as_text(subgraph)  # ~400 токенов
answer = llm.generate(system_prompt + context + question)

1. Прогоните тест сначала без графа (обычный поиск по файлам), потом с графом. Сравните ответы, количество токенов и время. Это даст вам конкретное понимание разницы на вашем железе и вашей модели.

2. Проверьте ответ по цепочке рассуждений. Правильный ответ для тестового набора: Marcus Webb. Если модель остановилась на должности (Operations Manager) или на имени штатного сотрудника (Sarah Chen), значит, граф не дотянул связь до замещения.

Что показали результаты на локальных моделях?

Все четыре модели запускались на MacBook Air M2 24 Гб. Вот что получилось.

Без графа ни одна модель не дала правильный ответ:

• GPT-OSS-20b нашла только должность и остановилась
• Llama 3.1 8b начала извиняться за неточность и предлагала искать дальше, но ответа не дала
• Gemma-4-e2b назвала должность, но не дошла до имени замещающего
• xLAM-2-8b (модель от Salesforce) выдумала название несуществующего файла и начала в нём искать

С Graph RAG все четыре ответили верно: Marcus Webb. Даже крохотная Gemma-4-e2b справилась.

Показательная деталь: GPT-OSS-20b выдавала на этом железе около 200 токенов в секунду, что делает её практически пригодной для продуктивного использования. Но скорость инференса (процесса генерации ответа моделью) не помогла без графа: быстрая модель просто быстрее выдала неправильный ответ.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: если вы ведёте канал с большим архивом материалов и хотите, чтобы ИИ-помощник находил связи между старыми публикациями (например, «в какой статье я упоминал этот приём и к чему он привёл»), Graph RAG это именно тот подход. Разметьте свои тексты сущностями (темы, имена, даты, результаты) и попробуйте на локальной модели.

Маркетологу: для работы с внутренними базами знаний компании (регламенты, переписки, справочники сотрудников) Graph RAG решает задачу, которую обычный поиск проваливает: «кто отвечает за это решение, если основной человек недоступен». Это прямой путь к внутреннему ИИ-ассистенту, который реально экономит время.

Предпринимателю из РФ: все модели из теста доступны бесплатно и запускаются локально, без облака и без подписок. Данные не покидают ваш компьютер. Из российских инструментов, YandexGPT и GigaChat пока не поддерживают локальный запуск в таком формате, но подход с графом можно применить к любой открытой модели (модели с доступными весами, которые можно скачать и запустить у себя).

Тест с четырьмя локальными моделями показал простую вещь: дело не в размере модели, а в том, какие данные она видит до начала рассуждений. Graph RAG превращает слепой поиск в навигацию по связям, и даже двухмиллиардная модель на ноутбуке с этим справляется.