INFERA свела восемь проверок в карту атак: безопасность ИИ проверят живым взломом

Раньше безопасную разработку собирали из отдельных контрольных точек: проверка кода, проверка сторонних библиотек, ручной пентест (имитация взлома перед выпуском), иногда сканирование работающего сервиса. Команда INFERA AI.SafeCode в своём разборе пишет, что результаты таких проверок живут в разных окнах и не отвечают на главный вопрос: до каких частей приложения реально дотянется атакующий. С приходом больших языковых моделей (нейросетей, на которых работают чат-боты) к этому добавилась проверка поведения самой модели.

Что нового в подходе INFERA AI.SafeCode?

Центральное понятие здесь «поверхность атаки». Это все доступные извне интерфейсы, технологии, методы и пути выполнения, через которые взломщик может воздействовать на приложение. Понятие шире, чем список открытых портов и доменов.

• Сводка рисков. Показывает, сколько в проекте узлов, точек входа и опасных операций, сколько уязвимостей высокого и критического уровня, какие проверки запускались и какие данные устарели.
• Инвентарь узлов. Это фильтруемый список файлов, внешних адресов, технологий и точек входа, то есть адресов, по которым к сервису обращаются снаружи. Из списка разработчик сразу переходит к нужному месту в коде.
• Карта уязвимых путей. Показывает путь от точки входа до опасной операции, например до SQL-инъекции (подмены запроса к базе данных) или до раскрытия чувствительных данных. Команда сначала разбирает находки на достижимом пути, а не сотни находок подряд.
• Граф достижимости. Показывает маршруты, по которым недоверенные данные проходят через приложение. С ним проще заметить, что несколько публичных точек входа используют один и тот же небезопасный обработчик.
• Слепые зоны. Платформа отмечает проверки, которые давно не запускались или не запускались вообще.
• AI Red Team. Это автоматическая атака на работающее ИИ-приложение, по аналогии с «красной командой» специалистов, которые нападают на свою же систему. Платформа замеряет устойчивость модели к нежелательным запросам, проверяет качество ответов и отслеживает регрессии (ухудшения) между версиями.

Под капотом восемь направлений контроля, которые работают в реальном времени прямо в среде разработки:

• SAST, статический анализ исходного кода без его запуска;
• SCA, анализ сторонних библиотек с открытым кодом;
• поиск и проверка секретов, то есть паролей и ключей, забытых в коде;
• DAST, динамический анализ работающего приложения;
• пентест силами ИИ-агента, программы, которая сама выполняет цепочку действий;
• фаззинг кода, когда программу засыпают случайными и пограничными данными, чтобы найти сбои;
• фаззинг API (интерфейсов, через которые программы общаются между собой) форматов REST, GraphQL, gRPC и WebSocket;
• MLSecOps-скан, который определяет состав ИИ-системы и ищет дефекты в её компонентах.

Разработчики сами оговариваются, что восемь сканеров автоматически ничего не дают. Ценность в связке: находка в коде привязана к точке входа, точка входа к внешней поверхности, а проверка к конкретному прогону и его дате.

Как попробовать без цены и даты запуска?

В описании нет ни стоимости, ни порядка подключения. Поэтому начните с того, что можно сделать самостоятельно:

1. Выпишите все адреса и формы, через которые ваш сервис принимает данные снаружи. Это и есть ваша поверхность атаки в первом приближении.
2. Проверьте, когда последний раз запускались проверки кода и библиотек. Если давно, отметка «уязвимостей нет» в отчёте ничего не значит.
3. Если у вас бот на нейросети, соберите набор провокационных промптов и прогоняйте его после каждого обновления, сравнивая ответы.
4. Условия доступа к INFERA AI.SafeCode уточняйте у разработчика напрямую, в разборе их не опубликовали.

Боты на YandexGPT и GigaChat тоже нужно атаковать

Если ваш бот работает на YandexGPT, GigaChat или любой другой модели, логика AI Red Team к нему применима так же. Источник говорит о проверке работающего ИИ-интерфейса, а не конкретной модели. Сравнения INFERA AI.SafeCode с другими инструментами защиты в разборе нет, поэтому выбирать продукт только по этому описанию не стоит.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Тема ИИ в информационной безопасности понятна широкой аудитории, если объяснить главное: «уязвимостей не найдено» не равно «безопасно». Если на канале или сайте отвечает бот, проверьте его вопросами, на которые он отвечать не должен.

Маркетологу. Запуск чат-ассистента для клиентов теперь включает проверку его ответов и их ухудшений между версиями. Заложите это в план до релиза, а не после первой жалобы.

Предпринимателю в РФ и СНГ. Цену и условия источник не раскрывает. Прежде чем выпускать клиентского бота, закажите хотя бы ручную проверку его ответов на нежелательные запросы и повторяйте её после каждого обновления модели.

Какие вопросы задают чаще всего?

Что такое поверхность атаки простыми словами?

Это все двери и окна вашего сервиса, через которые можно попасть внутрь: адреса, формы, методы обмена данными и пути внутри кода. Чем точнее карта, тем быстрее команда закрывает действительно опасные места.

Чем AI Red Team отличается от обычной проверки кода?

Проверка кода ищет ошибки в тексте программы. AI Red Team атакует уже работающую модель запросами и смотрит, как она себя ведёт, насколько хороши её ответы и не ухудшились ли они в новой версии.

Нужно ли это автору без своего сервиса?

Платформа нет, а логика да. Любой бот, которому вы доверили общение с читателями, говорит от вашего имени, так что десять неудобных вопросов перед запуском обойдутся дешевле одного скриншота с его провальным ответом.