Безопасность нейросетей дала сбой: фильтры закрытых моделей заблокировали защитников, а не атакующего

Hugging Face, крупнейший открытый хаб для моделей машинного обучения и датасетов (наборов данных для обучения), опубликовала отчёт об инциденте безопасности в июле 2026 года. Злоумышленник получил несанкционированный доступ к части внутренних датасетов и к нескольким служебным учётным записям. Компания всё ещё проверяет, затронуты ли данные партнёров или пользователей, и обещает связаться с пострадавшими напрямую. Следов подмены публичных моделей, датасетов, пространств и цепочки поставок программного обеспечения (контейнеров и пакетов) компания не нашла.

Случай стал первым публичным подтверждением сценария «агентного атакующего», который индустрия прогнозировала, но до сих пор не наблюдала на практике. И он напрямую касается безопасности нейросетей для всех, кто работает с открытыми или закрытыми моделями.

Как проходила атака и почему она необычна?

• Точка входа: конвейер обработки данных. Злоумышленник подготовил вредоносный датасет, который использовал два пути выполнения кода: загрузчик датасетов с удалённым исполнением и инъекцию шаблона в конфигурации датасета. Проще говоря, отравленный набор данных заставил сервер выполнить чужие команды.

• Повышение привилегий и боковое перемещение. Получив доступ к рабочему узлу обработки, атакующий поднялся до уровня узла целиком, собрал облачные учётные данные и за выходные проник в несколько внутренних кластеров (групп серверов).

• Агентный характер атаки. Кампанию вела автономная агентная система (по описанию Hugging Face, построенная на исследовательском фреймворке для безопасности с использованием большой языковой модели, какой именно, пока неизвестно). Система выполнила тысячи отдельных действий через рой короткоживущих песочниц (изолированных сред), с самомигрирующим центром управления, размещённым на публичных сервисах.

• Масштаб: более 17 000 записанных событий в логах атакующего.

Как Hugging Face расследовала инцидент?

Атаку первоначально обнаружила система аномальной детекции самой Hugging Face, которая использует нейросети для сортировки сигналов безопасности. Корреляция нескольких таких сигналов и выявила компрометацию.

Для анализа 17 000 с лишним записей команда запустила собственных ИИ-агентов по полному журналу действий атакующего. Это позволило восстановить хронологию, извлечь индикаторы компрометации (признаки, по которым можно опознать атаку), определить затронутые учётные записи и отделить реальный ущерб от ложных следов. По оценке компании, работа, которая обычно занимает дни, была выполнена за часы.

Почему закрытые модели отказались помогать защитникам?

Здесь начинается та часть истории, которая касается безопасности нейросетей для любого практика.

Когда команда Hugging Face попыталась использовать для анализа логов закрытые модели (модели, доступные только через API провайдера, без возможности запуска на своём оборудовании) через коммерческие API, фильтры безопасности этих моделей заблокировали запросы. Причина: анализ требовал отправки реальных команд атаки, эксплойтов и артефактов центра управления. Фильтры не могут отличить специалиста по реагированию на инциденты от самого атакующего.

Компания провела форензику (криминалистический анализ цифровых следов) на модели GLM 5.2 с открытыми весами (open weights, модель, чьи параметры можно скачать и запустить локально), развёрнутой на собственной инфраструктуре. Это дало второе преимущество: ни данные об атаке, ни упомянутые в логах учётные записи не покинули периметр компании.

Hugging Face прямо указала: это не аргумент против фильтров безопасности на коммерческих моделях, и компания передала обратную связь провайдерам. Но практический урок для защитников сформулирован чётко: имейте проверенную модель, способную работать на вашей инфраструктуре, готовую до инцидента, чтобы избежать блокировки фильтрами и утечки данных об атаке за периметр.

Что компания сделала для устранения?

1. Закрыла уязвимости в конвейере обработки датасетов, которые использовались для первоначального доступа.
2. Уничтожила точки присутствия атакующего в затронутых кластерах и перестроила скомпрометированные узлы.
3. Отозвала и сменила затронутые учётные записи и токены (ключи доступа к API), начала превентивную ротацию остальных секретов.
4. Усилила контроль допуска на кластерах.
5. Улучшила систему обнаружения и оповещения: сигнал высокой серьёзности теперь вызывает дежурного за минуты, в любой день недели.

Компания привлекла внешних специалистов по кибербезопасности и сообщила об инциденте в правоохранительные органы. Пользователям рекомендовано сменить токены доступа и проверить недавнюю активность на аккаунте.

Что это значит для российских пользователей?

В России и СНГ Hugging Face остаётся основной площадкой для скачивания и размещения открытых моделей. Если вы используете токены доступа к Hugging Face Hub, смените их сейчас, это прямая рекомендация компании.

Для сравнения с российскими реалиями: YandexGPT и GigaChat работают как закрытые модели через API. Это означает, что при аналогичном инциденте пользователь столкнётся с той же проблемой, описанной Hugging Face: фильтры безопасности нейросетей заблокируют анализ атакующих логов. Развернуть модель локально для форензики из российских открытых альтернатив можно, но выбор ограничен.

Что делать прямо сейчас, по ролям?

• Автору на Дзене. Если вы используете Hugging Face для генерации иллюстраций, текста или автоматизации, смените токен доступа, проверьте историю активности на аккаунте. Тема «ИИ атакует ИИ-платформу» сама по себе повод для контента.

• Маркетологу и предпринимателю. Если в вашей компании используют модели с Hugging Face Hub или датасеты оттуда, передайте команде рекомендацию о ротации токенов. Проверьте, есть ли у вас модель, которую можно запустить локально для экстренного анализа, без зависимости от внешнего API.

• Техническому специалисту. Держите проверенную модель с открытыми весами на своей инфраструктуре до инцидента, а не после. Факт из отчёта Hugging Face: коммерческие API блокируют форензику, это не теория, а реальный сценарий.

Как попробовать защититься?

1. Смените токены доступа к Hugging Face Hub на странице настроек аккаунта (huggingface.co/settings/tokens).
2. Проверьте журнал активности вашего аккаунта на Hugging Face на предмет незнакомых действий.
3. Установите локально модель с открытыми весами (GLM 5.2 или другую подходящую) и протестируйте её способность анализировать технические логи, чтобы в случае инцидента не зависеть от коммерческих API.

Частые вопросы

Мои модели или данные на Hugging Face в опасности?

Компания заявила, что не нашла следов подмены публичных моделей, датасетов, пространств и цепочки поставок ПО. Но оценка того, затронуты ли данные партнёров и пользователей, ещё не завершена. Рекомендация: смените токены доступа и проверьте недавнюю активность на аккаунте.

Какую модель использовали атакующие?

Hugging Face прямо указала: какая именно большая языковая модель стояла за агентной системой атакующего, пока неизвестно. Это могла быть взломанная закрытая модель или модель с открытыми весами без ограничений. Компания не называет конкретного провайдера или модель.

Почему нельзя было расследовать атаку через ChatGPT или другой коммерческий API?

Потому что анализ требовал отправки реальных вредоносных команд, эксплойтов и артефактов управления. Фильтры безопасности нейросетей у коммерческих провайдеров не различают, кто отправляет такие данные, атакующий или защитник, и блокируют оба случая одинаково. Hugging Face провела расследование на локально развёрнутой модели GLM 5.2 с открытыми весами.

Атака на Hugging Face показала, что автономные ИИ-агенты в руках злоумышленников перестали быть прогнозом и стали рабочим инструментом, а безопасность нейросетей теперь включает не только защиту от атак, но и способность использовать нейросети для защиты без блокировки собственными же фильтрами.