LLM на локальном компьютере: одна GPU с 96 ГБ потянула модель со 122 млрд параметров

Аналитик R-Vision Сергей Иванов опубликовал результаты серии экспериментов по запуску большой языковой модели Qwen3.5-122B на собственном стенде. Главный вывод: LLM на локальном компьютере для задач информационной безопасности работает не как универсальный чатбот для миллионов пользователей, а как инструмент с предсказуемой нагрузкой. Контекст заранее подготовлен, сценарии типовые, а значит, требования к железу можно рассчитать точно.

Почему SOC-задачи проще для GPU, чем публичный чат?

Когда LLM встроена в SOAR (систему оркестрации, автоматизации и реагирования на инциденты безопасности), она не ищет информацию по всей инфраструктуре сама. Данные уже собраны и структурированы: события из SIEM, сведения об активах, результаты проверок, похожие инциденты.

Модель получает подготовленный пакет и выполняет конкретное действие: объясняет срабатывание правила, выделяет артефакты, формирует предварительный вердикт. Окончательное решение остаётся за человеком.

Это радикально снижает нагрузку. Размер контекста, типы запросов, объём ответов и количество параллельных операций в SOC известны заранее. Поэтому LLM на локальном компьютере здесь не роскошь, а расчётная задача.

Что понадобится

• GPU с большим объёмом видеопамяти. В эксперименте использовалась NVIDIA RTX PRO 6000 Blackwell Max-Q с 96 ГБ GDDR7. Все веса модели должны помещаться в видеопамять целиком, иначе скорость падает до неприемлемой
• Модель с архитектурой MoE. В тестах выбрали Qwen3.5-122B-A10B-GPTQ. Несмотря на 122 миллиарда параметров, при генерации каждого токена (минимальной единицы текста, которую обрабатывает модель) активируется только около 10 миллиардов. Вычислительная нагрузка в разы ниже, чем у «плотной» модели такого же размера
• Движок инференса (запуска модели для генерации ответов). Использовался vLLM
• Реальные данные SOC. Команда R-Vision сознательно отказалась от синтетических наборов и работала с анонимизированными инцидентами из реального центра мониторинга
• Время на настройку стенда и тестирование. Точные сроки в материале не указаны, но эксперимент включал серию стресс-тестов

Пошаговая логика запуска (по материалам R-Vision)

1. Выберите модель с учётом архитектуры, а не только числа параметров. «Плотная» (Dense) модель активирует все параметры при каждом токене. MoE-модель активирует только часть. При одинаковом качестве MoE требует кратно меньше вычислительных ресурсов

2. Убедитесь, что веса модели целиком помещаются в видеопамять GPU. Выгрузка части весов в оперативную память (RAM) резко снижает скорость генерации. Для Qwen3.5-122B-A10B-GPTQ (квантизованная версия, то есть сжатая с минимальной потерей качества) потребовалось 96 ГБ видеопамяти

3. Установите движок инференса. В эксперименте использовался vLLM. Пример команды запуска:

vllm serve Qwen/Qwen3.5-122B-A10B-GPTQ --gpu-memory-utilization 0.95

1. Рассчитайте бюджет KV Cache. KV Cache (кеш ключей и значений, область памяти, где модель хранит контекст разговора) занимает видеопамять сверх весов модели. Чем длиннее контекст и чем больше параллельных запросов, тем больше памяти уходит на кеш. Для SOC-сценариев контекст предсказуем, а значит, бюджет можно рассчитать заранее

2. Подготовьте контекст через SOAR. Модель не должна «гулять» по инфраструктуре сама. Данные из SIEM, CMDB, Threat Intelligence, EDR собираются до запроса к LLM и передаются ей структурированным пакетом

3. Проведите стресс-тесты на реальных сценариях. Проверьте, сколько параллельных запросов выдерживает GPU и где проходит практический предел конкурентности (количества одновременных обращений к модели)

Что делать с этим прямо сейчас?

Специалистам SOC и CISO. Эксперимент R-Vision показывает, что LLM на локальном компьютере для задач мониторинга не требует серверной фермы. Одна карта с 96 ГБ видеопамяти и правильно выбранная MoE-модель покрывают типовые сценарии. Это аргумент для внутреннего обоснования бюджета: речь идёт о стоимости одной рабочей станции, а не кластера.

Авторам Дзена, пишущим про технологии. Тема «LLM на своём железе» собирает стабильный поисковый трафик. Материал R-Vision даёт конкретные цифры и модель для разбора, а не абстрактные рассуждения. Разбор архитектуры MoE против Dense на бытовых аналогиях (122 специалиста в офисе, но на каждый вопрос отвечают только 10) может стать отдельной публикацией.

Предпринимателям в РФ. GPU NVIDIA RTX PRO 6000 Blackwell в России доступна через параллельный импорт, цены нестабильны. Из доступных в РФ альтернатив для экспериментов подойдут карты серии RTX 4090/5090 с меньшим объёмом памяти, но для полноценного запуска 122-миллиардной модели без потери скорости придётся либо использовать несколько карт, либо выбрать модель поменьше.

Пока одни компании спорят, нужны ли LLM в кибербезопасности, R-Vision уже считает, сколько параллельных запросов выдержит одна видеокарта на реальных инцидентах. Если у вас есть GPU с 24 ГБ памяти и выше, попробуйте запустить MoE-модель поменьше через vLLM на своих задачах: порог входа ниже, чем кажется.