Проверка 231 заявки по безопасности нейросетей: «локальные» сервисы отправляют код наружу

Идея родилась 26 мая на встрече ёPRSTCON. Там обсуждали автоматический разбор находок сканеров, языковые модели в кибербезопасности и защиту ИИ-агентов (программ на базе нейросети, которые сами выполняют цепочку действий). Ссылки со слайдов и из чатов решили не терять, а собрать в репозиторий (папку проекта на GitHub, площадке, где программисты вместе развивают код).

Первая версия от 27 мая содержала 99 записей и 11 ссылок на тематические подборки. Второго июня автор представил список на Хабре. Теперь он рассказал о полугоде поддержки и о том, что узнал, проверяя чужие инструменты.

Что нового

• Два направления. В первом ИИ ищет уязвимости, разбирает предупреждения систем защиты, исследует исполняемые файлы и собирает сведения об угрозах. Во втором инструменты защищают модели и агентов от инъекций (подброшенных в текст команд, которые заставляют нейросеть нарушить правила), утечек и нежелательных действий.
• Статистика заявок. Из 231 PR (запроса на изменение, то есть предложенной правки в чужой проект) приняли 157, закрыли без изменений 65, ещё девять остаются открытыми.
• Рост внимания. 26 июля список занял десятое место в дневном рейтинге Python-проектов сервиса Trendshift, а 23 сентября перешёл отметку в 1 500 звёзд (аналог лайков на GitHub).
• Агенты на проверке. Заявки разбирают вместе с ИИ-агентами, но решение принимает человек.

Волну интереса вызвал июльский пост в соцсети X.

Кто-то только что выложил в открытый доступ более 300 ИИ-инструментов безопасности, и каждый директор по информационной безопасности вот-вот запаникует. : @KanikaBK, пользователь X

Автор подборки замечает: публичные проекты пересказали как внезапно открытый арсенал. Сам список при этом состоит из уже опубликованных инструментов, секретов в нём нет.

Как автор отличает пользу от нейрослопа?

Регулярно приходят заявки с одинаковыми приметами: вчера созданный репозиторий, один большой коммит, «внушительный README» и громкие обещания. Такое называют нейрослопом, то есть небрежным контентом, который нейросеть генерирует на поток. Отказывать по формальному признаку автор не стал: в первом коммите бывает и вчерашний эксперимент, и серьёзный проект, который раньше развивали в закрытом репозитории.

Вместо этого он задаёт каждому кандидату одни и те же вопросы:

• Где происходит анализ и какие данные уходят наружу?
• Нужны ли платная учётная запись и API-ключ (пароль для подключения программы к платной нейросети)?
• Что случится, если модель недоступна?
• Проверяют ли тесты сам защитный механизм или только мок (заглушку, которая изображает настоящий компонент)?

Чужой код сейчас изучают без запуска на рабочей машине. Так выяснилось, что заявленный сканер иногда оказывается набором инструкций для агента, а инструмент с обещанием локальной работы отправляет все исходники внешнему поставщику модели.

Как попробовать

1. Найдите на GitHub репозиторий awesome-ai-security-tools по названию.
2. Выберите направление: ИИ для поиска угроз или защита самих моделей и агентов.
3. Перед установкой любого инструмента пройдите по вопросам выше, особенно по пункту «какие данные уходят наружу».
4. Если знаете полезный инструмент, предложите его через PR: автор принимает и плохо оформленные заявки, а потом сам правит формулировки.

Есть ли российский аналог?

Российскую подборку такого рода источник не называет. Вопросы из чек-листа подходят и к сервисам на базе отечественных моделей, например YandexGPT и GigaChat: прежде чем загружать рабочие тексты, выясните, куда инструмент их отправляет.

Что это даёт автору, маркетологу и предпринимателю?

Автору Дзена. Безопасность нейросетей стала темой, которую обсуждают на конференциях и в соцсетях. Пересказ чек-листа с примерами подойдёт для полезного поста.

Маркетологу. Обещание «работает локально» в описании продукта ничего не гарантирует. Перед подключением ИИ-сервиса к клиентским данным попросите разработчика показать, куда уходит информация.

Предпринимателю в РФ и СНГ. Список открыт на GitHub, ограничений по странам источник не упоминает. Начните с инструментов, которые не требуют платного API-ключа и иностранной учётной записи.

Частые вопросы

Правда ли, что выложили 300 секретных инструментов?

Нет. Это подборка уже опубликованных проектов, собранная после встречи ёPRSTCON. Пост про «панику директоров» автор считает преувеличением.

Можно ли запускать инструменты из списка сразу?

Автор сам не запускает чужой код на рабочей машине без разбора. Безопасность нейросетей начинается с простого правила: сначала выясните, что инструмент устанавливает и куда передаёт данные.

Кто решает, попадёт ли инструмент в список?

Окончательное решение принимает автор подборки, агенты только помогают читать код. Есть что предложить? Пришлите заявку с честным описанием, и она пройдёт ту же проверку, что и остальные 231.