Мое исследование инструментов выявления уязвимостей в скиллах

Автор эксперимента собрал 12 синтетических пакетов с текстовыми инструкциями для ИИ-агента (ИИ-агент — программа, которая сама выполняет цепочку действий по вашему заданию) и прогнал их через три сканера: Cisco Skill Scanner, NVIDIA SkillSpector и AgentVerus. Всё без нейросетей и платных API, в изолированных контейнерах без сети. Результаты оказались полезнее, чем ожидалось, но не в том месте, где принято смотреть.

Что понадобится

• Три сканера (бесплатные режимы без LLM): Cisco Skill Scanner, NVIDIA SkillSpector, AgentVerus
• Docker или аналогичная среда контейнеризации (контейнер — изолированная «песочница», где программа работает отдельно от вашей системы)
• Набор тестовых пакетов: текстовые файлы с инструкциями для агента, без реальных ключей и исполняемого кода
• Отключение сети в контейнере на уровне самого контейнера, а не только флагом --no-llm
• Время: подготовка окружения и прогон 42 проб заняли один рабочий день

Пошаговая инструкция

1. Разделите тестовые пакеты на две группы вручную. Пять пакетов с допустимыми инструкциями, семь с заведомо опасными. Без этой разметки вы не поймёте, где сканер ошибся.

2. Подготовьте изолированное окружение. Скачайте зависимости сканеров при включённой сети. После этого отключите сеть на уровне контейнера.

docker run --network none --read-only \
  -v ./fixtures:/data:ro \
  scanner-image --no-llm --input /data/package-01

1. Прогоните каждый пакет через каждый сканер. Для 12 пакетов и трёх движков это 36 проб. Дополнительно подайте отдельные Markdown-файлы с описаниями агентов, чтобы проверить поддержку такого входа. Итого 42 пробы.

2. Сохраняйте не итоговый балл, а структурированный отчёт целиком. Коды выхода у сканеров различаются: Cisco возвращает 0 даже при статусе is_safe=false, NVIDIA тоже возвращает 0 при находках уровня High. Парсите JSON или структурированный вывод, не полагайтесь на код выхода.

3. Сравните реакцию сканеров с вашей ручной разметкой. Пакет помечен как опасный, а сканер дал «certified»? Это пропуск. Пакет безопасный, а сканер кричит High? Разбирайтесь в контексте срабатывания.

4. Проверьте вложенные файлы. Если пакет ссылается на дополнительные документы (например, references/extra.md), убедитесь, что сканер анализирует и их содержимое, а не только корневой файл.

5. Добавьте собственные правила для пропущенных паттернов. Если сканер не поймал конкретную опасную инструкцию, напишите правило для встроенного анализатора и включите его в регрессионные тесты.

Что делать с этим прямо сейчас?

Автору Дзена и копирайтеру. Если вы подключаете навыки к ИИ-ассистенту для генерации контента, не принимайте зелёную галочку сканера за гарантию. Просмотрите текст инструкций вручную, особенно если навык создаёт субагентов или читает дополнительные файлы.

Маркетологу и предпринимателю. Перед интеграцией стороннего скилла в рабочий процесс разделите проверку на два этапа: быстрый скан при индексации (без тяжёлого окружения) и дополнительный прогон по запросу. Результат проверки не должен автоматически менять права агента.

Тем, кто работает в РФ и СНГ. Все три сканера доступны в офлайн-режиме через контейнеры, платные API не требуются. Для локального контекста учитывайте: если вы используете YandexGPT или GigaChat как основу агента, принцип тот же. Скилл — это текстовая инструкция, и проверять её нужно до подключения, а не после инцидента.

Сканер, который ставит 99 баллов пакету с инструкцией обойти согласование, — не сломанный: он делает ровно то, чему обучен. Ваша задача — знать границы его обученности до того, как навык получит доступ к рабочим данным.