Безопасность искусственного интеллекта: 173 техники атак собраны в единую карту угроз

Тема безопасности искусственного интеллекта перестала быть абстрактной. Майский отчёт Google AI Threat Tracker подтверждает: ИИ становится одновременно целью и инструментом атак. Компании уже внедрили технологии, но моделирование угроз для ИИ-систем до сих пор упирается в вопрос: где именно брать данные о возможных атаках? Обзор, подготовленный в магистратуре AI Talent Hub при ИТМО, отвечает на этот вопрос, разбирая два ключевых фреймворка: MITRE ATLAS и OWASP Top 10 для ИИ.

Что даёт MITRE ATLAS и почему это центральный источник?

MITRE ATLAS построена по образцу знаменитой матрицы MITRE ATT&CK, которую специалисты по информационной безопасности используют более десяти лет. Для тех, кто не сталкивался: ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge) описывает, какими способами злоумышленники атакуют обычные IT-системы. ATLAS делает то же самое, но для систем на базе искусственного интеллекта.

• 173 техники и подтехники атак, сгруппированные по 16 тактикам. Тактика описывает этап атаки (разведка, получение доступа, закрепление в системе), техника объясняет конкретный способ реализации
• 35 способов митигации (защитных мер, снижающих вероятность или ущерб от атаки)
• 63 примера реальной эксплуатации, привязанных к конкретным техникам
• Фильтрация техник по целевой платформе: предиктивный ИИ, генеративный ИИ, агентный ИИ (ИИ-агент, программа, которая сама принимает решения и выполняет действия), корпоративные системы
• Каждая техника имеет степень зрелости: теоретически осуществимо, практически подтверждено или зафиксировано в реальных атаках

16 этапов атаки на ИИ-систему: от разведки до воздействия

Тактики в MITRE ATLAS выстроены в логическую цепочку, которую проходит злоумышленник:

• Разведка и подготовка ресурсов: сбор сведений об ИИ-системе, создание инфраструктуры для атаки
• Первоначальный доступ и доступ к модели: проникновение в систему и получение доступа к самой модели ИИ на любом уровне
• Выполнение и закрепление: запуск вредоносного кода через ИИ-компоненты и сохранение присутствия
• Повышение привилегий и уклонение от обнаружения: расширение прав и обход защитных механизмов
• Латеральное перемещение (переход между компонентами инфраструктуры) и сбор данных: похищение ИИ-артефактов и информации
• Воздействие: нарушение работы ИИ-системы, манипуляция данными или подрыв доверия к ней

Для специалистов по безопасности важная деталь: данные доступны не только через веб-интерфейс, но и через GitHub-репозиторий mitre-atlas/atlas-data в формате YAML-файлов, что позволяет автоматизировать сбор и анализ.

Что даёт OWASP Top 10 для ИИ?

OWASP выпускает отдельные списки десяти главных угроз для разных типов ИИ-систем:

• OWASP Top 10 for LLM (больших языковых моделей, таких как ChatGPT или YandexGPT): последняя ревизия вышла в ноябре 2024 года, следующая запланирована на август 2026
• OWASP Top 10 for Agentic (агентных ИИ-систем)
• OWASP Top 10 for MCP (Model Context Protocol, протокол взаимодействия ИИ-агентов с внешними инструментами)

Каждый список содержит описание угрозы, стратегии защиты, примеры сценариев атак и ссылки на дополнительные ресурсы. Обновления выходят реже, чем у MITRE ATLAS.

Как попробовать разобраться самому?

1. Откройте сайт atlas.mitre.org и изучите матрицу тактик. Каждая ячейка кликабельна и ведёт к описанию техники, примерам атак и способам защиты
2. Если вы работаете с конкретным типом ИИ (генеративный, агентный), используйте фильтры по целевой платформе, чтобы увидеть только релевантные техники
3. Для автоматизации клонируйте GitHub-репозиторий mitre-atlas/atlas-data и используйте YAML-файлы для встраивания данных в свои процессы моделирования угроз

Что есть в России?

Компания Positive Technologies уже использует структуру MITRE ATT&CK для демонстрации покрытия техник атак своими инструментами. Однако аналога MITRE ATLAS, заточенного именно под ИИ-угрозы, от российских вендоров пока нет. YandexGPT и GigaChat работают как закрытые модели, и публичных фреймворков для оценки их защищённости по аналогии с ATLAS в открытом доступе не обнаружено.

Для российских компаний, внедряющих ИИ, MITRE ATLAS остаётся единственным структурированным источником, доступным бесплатно и применимым к любой ИИ-системе, вне зависимости от вендора.

Что с этого вам по ролям?

Автору на Дзене. Тема безопасности искусственного интеллекта набирает поисковый интерес, но качественных русскоязычных разборов мало. Материал на базе тактик ATLAS (с примерами атак из их базы) даёт готовую структуру для серии постов: по одной тактике на публикацию.

Маркетологу и предпринимателю. Если ваш продукт использует ИИ, клиенты рано или поздно спросят про безопасность. Знание фреймворка ATLAS позволяет говорить с безопасниками на одном языке и показывать, какие этапы атаки вы закрываете.

Специалисту по ИБ. MITRE ATLAS обновляется ежемесячно, версионирование позволяет ссылаться на конкретные редакции. GitHub-репозиторий с YAML-файлами готов к интеграции в процессы моделирования угроз без ручного парсинга веб-интерфейса.

Частые вопросы

Нужно ли знать MITRE ATT&CK, чтобы разобраться в ATLAS?

Нет. Структура ATLAS самодостаточна: тактики, техники, примеры и защитные меры описаны независимо. Но если вы уже знакомы с ATT&CK, логика будет привычной, матрица построена по тому же принципу.

ATLAS подходит только для крупных компаний?

Нет. Матрица полезна любому, кто встраивает ИИ в продукт или процесс. Даже если у вас один чат-бот на сайте, тактики «первоначальный доступ» и «воздействие» применимы к нему напрямую: злоумышленник может попытаться извлечь системный промпт (инструкцию, задающую поведение модели) или заставить бота выдать нежелательный контент.

Где взять русскоязычную версию ATLAS?

Официальной русскоязычной версии нет. Обзор Мосина на данный момент остаётся одним из немногих структурированных русскоязычных разборов. Тактики и техники в матрице имеют короткие идентификаторы (например, AML.TA0002), что упрощает работу даже при чтении на английском.

173 техники атак, 35 способов защиты, ежемесячные обновления и бесплатный доступ: если вы до сих пор не открывали atlas.mitre.org, сегодня подходящий день это исправить.