Aikido сжала модель с 753 до 328 ГБ: открытые языковые модели ищут уязвимости без облака

Altar-1 построена на базе открытой модели GLM-5.3 от компании Z.AI. Исходная модель содержит 753 миллиарда параметров, а Aikido сжала её на 78,2% и выложила результат на платформе Hugging Face. Это не просто уменьшенная копия: модель заточена под работу внутри Aikido Machine, автономного устройства для пентестинга (тестирования на проникновение) в закрытых и изолированных от интернета сетях.

Как Aikido уместила 753 миллиарда параметров на одном сервере?

GLM-5.3 использует архитектуру MoE (Mixture of Experts, смесь экспертов). Суть проста: модель состоит из 256 «экспертов-специалистов», но для обработки каждого токена (фрагмента текста) маршрутизатор выбирает только 8 из них. Активных параметров при работе около 40 миллиардов, а не все 753.

Aikido применила два шага сжатия:

• Квантование. Веса экспертов переведены из 16-битного формата в 4-битный (W4A16). За основу взят контрольный чекпоинт AWQ-INT4 от cyankiwi. Ключевые слои (внимание, общий эксперт, плотные слои) остались в BF16 для сохранения качества.
• Обрезка экспертов. Методом REAP от Cerebras из 256 экспертов на каждом слое оставлено 168, а 88 удалено (34,4%). Метод оценивает экспертов не по частоте вызовов, а по весу маршрутизации и величине выходного сигнала. Это защищает узкоспециализированных экспертов, отвечающих за код, редкие языки и структурированный вывод. Дообучение после обрезки не проводилось.

Итог: объём модели сократился с 1 506,7 ГБ до 328 ГБ.

Что потерялось при сжатии?

Aikido протестировала Altar-1 на внутреннем бенчмарке из 32 известных уязвимостей (CVE) в 30 репозиториях, по три прогона на каждый случай.

• Полнота обнаружения (recall) снизилась с 65,6% до 60,4%.
• При этом Altar-1 сохранила 23 из 25 обнаруживаемых уязвимостей, то есть 92% покрытия родительской модели.

Aikido честно оговаривает: бенчмарк узкий, он измеряет повторное обнаружение известных CVE внутри пайплайна, где другие модели обрабатывают окружающие этапы. Слепой поиск, валидация эксплойтов и предложение исправлений не измерялись. Компания также сообщает, что во время реального пентеста у клиента Altar-1 нашла критическую уязвимость, но это единичный результат от самого вендора.

Что нужно для запуска?

• Модель работает на одном узле из 4 GPU NVIDIA H200 (суммарно более 328 ГБ видеопамяти). На 4 картах H100 по 80 ГБ доступно только 320 ГБ, этого уже не хватает.
• Инференс (исполнение модели) идёт через фреймворк vLLM, ядро Marlin MoE подключается автоматически.
• При 328 ГБ весов на четырёх H200 остаётся место для KV-кеша на 128 000 токенов контекста при рабочих размерах пакетов.

Модель работает в полностью изолированных сетях (air-gapped), без доступа к интернету.

Лицензия: открытые веса, но не «открытый исходный код»

Altar-1 наследует лицензию GLM-5.3. Она разрешает коммерческое использование, модификацию и распространение. Единственное ограничение: операторы модели как сервиса (MaaS) с выручкой свыше 10 миллиардов долларов за 12 месяцев обязаны пройти проверку безопасности у Z.AI.

Aikido подчёркивает: это модель с открытыми весами, а не модель, одобренная OSI (Open Source Initiative, организация, сертифицирующая открытые лицензии) как полностью открытый исходный код.

Как попробовать?

1. Убедитесь, что у вас есть сервер с 4 картами NVIDIA H200 и установленным vLLM.
2. Загрузите веса с Hugging Face по адресу репозитория AikidoSec/altar-1.
3. Запустите модель командой: vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072.
4. Направьте свой пайплайн анализа безопасности на локальный эндпоинт.

Есть ли аналоги в России?

Прямого аналога, открытой модели для пентестинга, развёрнутой локально, в российском пространстве нет. YandexGPT и GigaChat работают как облачные сервисы и не предназначены для поиска уязвимостей в коде.

Для российских компаний и госструктур с требованиями по локализации данных Altar-1 даёт редкую возможность: глубокий анализ безопасности кода на собственной инфраструктуре с опубликованными весами, без отправки исходников куда-либо.

Частые вопросы

Можно ли запустить Altar-1 без GPU H200?

По данным карточки модели, требуются GPU архитектуры Hopper: H100 или H200. Однако на четырёх H100 по 80 ГБ суммарно только 320 ГБ, а веса занимают 328 ГБ, поэтому четырёх H100 не хватит. Минимальная рабочая конфигурация, четыре H200.

Altar-1 заменяет пентестера?

Нет. Модель работает внутри пайплайна Aikido Machine, где другие модели и инструменты обрабатывают окружающие этапы. Бенчмарк измерял только повторное обнаружение известных уязвимостей, а не слепой поиск или предложение исправлений. Это усилитель для специалиста, а не его замена.

Бесплатна ли модель для коммерческого использования?

Да, лицензия GLM-5.3 разрешает коммерческое использование и модификацию. Единственное условие: если вы оператор MaaS-платформы с годовой выручкой выше 10 миллиардов долларов, потребуется предварительная проверка безопасности от Z.AI.

Направление очевидно: крупные компании, которым нельзя выпускать код за периметр, теперь могут развернуть серьёзный ИИ-анализ безопасности у себя. Вопрос только в том, как быстро подтянутся конкуренты с решениями на менее дорогом железе.