Фильм, где искусственный интеллект вышел из-под контроля, стал реальностью: как защитить бизнес от ИИ-агентов

Сюжет, знакомый по любому фильму, где искусственный интеллект вышел из под контроля, перестал быть фантастикой для ИТ-отделов. Разница в том, что в кино ИИ захватывает ракетные шахты, а в реальности корпоративный ИИ-агент (программа, которая сама выбирает инструменты и выполняет задачи без постоянного участия человека) тихо отправляет клиентскую базу через легитимный вызов рабочего инструмента. И ни один фильм, где искусственный интеллект вышел из под контроля, не предупреждал, что угроза придёт не от «злого разума», а от банального отсутствия инвентаризации.

По данным INFERA, большинство компаний, заявляющих «у нас ИИ нет, мы только планируем внедрение», уже имеют десятки точек использования публичных моделей, IDE-ассистентов (помощников внутри среды разработки), локальных агентов и low-code-платформ (конструкторов приложений без написания кода). При этом ни инвентаризации, ни политик, ни видимости происходящего у таких компаний, как правило, нет.

Почему LLM Firewall закрывает только половину проблемы?

LLM Firewall (система фильтрации запросов и ответов к языковой модели) решает конкретную задачу: не дать утечь данным через промпт (запрос к модели) и не пропустить вредоносный контент в ответе. Но агент после получения ответа от модели переходит к действиям.

Вот что, по описанию INFERA, Firewall почти не видит:

• Вызов разрешённого инструмента с подменёнными аргументами
• Отравление инструмента (tool poisoning), когда сам инструмент работает не так, как задумано
• Вывод данных через легитимный вызов рабочего инструмента (tool call)
• Отклонение агента от исходного намерения пользователя
• Использование избыточных привилегий, которые агенту выдали при настройке

Образно: LLM Firewall защищает «мозг» агента, но оставляет его «руки» без присмотра. А ущерб наносят именно руки.

Что такое Shadow AI и почему он глубже, чем кажется?

Shadow AI (теневой ИИ) в привычном понимании это когда сотрудник использует ChatGPT или Claude без ведома ИТ-отдела. Но INFERA описывает более глубокий слой проблемы.

Настоящий теневой ИИ живёт в MCP-инструментах (Model Context Protocol, протокол, через который агент подключается к внешним сервисам), в локальных агентах на рабочих станциях, внутри IDE разработчиков и в корпоративных приложениях. Обычный Firewall видит только API-трафик к «теневым» моделям и почти не видит то, что происходит локально.

Именно поэтому контроль теневого ИИ сегодня неотделим от контроля агентов в реальном времени (runtime-контроль).

Что понадобится

• Инвентаризация: полный список моделей, агентов, MCP-серверов и их связей в вашей инфраструктуре (INFERA называет это AI-BOM, по аналогии с перечнем компонентов в производстве)
• Runtime-контроль: инструмент перехвата вызовов инструментов до их выполнения, например INFERA AI.SafeAgent или аналогичное решение
• LLM Firewall: для контроля промптов и ответов на уровне модели (как дополнение, не замена)
• Политики доступа: прописанные правила, что агенту можно, а что запрещено
• Время: от нескольких часов на аудит до нескольких дней на внедрение, зависит от масштаба инфраструктуры

Пошаговая инструкция

1. Проведите инвентаризацию всего ИИ в компании. Составьте реестр: какие модели используются, какие агенты запущены, к каким системам у них есть доступ, какие MCP-серверы работают. Без этого шага вы не знаете свой реальный периметр.

2. Внедрите принцип «запрещено всё, что не разрешено» (deny-by-default). Каждый агент получает только минимально необходимые права. Нет явного разрешения на инструмент, значит, инструмент недоступен.

3. Настройте перехват вызовов инструментов до выполнения. Используйте MCP-прокси или agent hooks (точки перехвата в коде агента). Система должна видеть имя инструмента и аргументы и выносить вердикт до того, как действие выполнится.

Пример политики (псевдокод):

rule: deny_by_default
  agent: *
  action: block

rule: allow_crm_read
  agent: sales_assistant
  tool: crm_api
  action: allow
  arguments:
    method: GET
    data_volume: < 100 records

1. Изолируйте агентов. Каждый агент работает в отдельной среде, со своей идентичностью, без постоянных секретов (ключей доступа, паролей), с минимальными правами.

2. Настройте эскалацию критических действий на человека. Для операций с высоким риском (массовое удаление, отправка данных наружу, изменение настроек безопасности) включите HITL (Human-in-the-Loop, одобрение человеком). Агент ставит действие в очередь, оператор подтверждает или отклоняет.

3. Включите режим fail-closed. Если слой контроля недоступен (упал сервер политик, разорвалось соединение), все действия агента автоматически блокируются. Не «разрешить и залогировать потом», а именно заблокировать.

4. Ведите полный журнал действий. Каждый вызов инструмента, каждый аргумент, каждое соединение фиксируются. Это нужно и для расследования инцидентов, и для аудита.

Что делать с этим прямо сейчас, по ролям

Автору и контент-специалисту на Дзене. Если вы используете ИИ-ассистент, который сам публикует тексты, проверяйте, какие права он имеет. Доступ к аналитике канала, к черновикам, к интеграциям: каждый доступ это потенциальная точка утечки или ошибки. Минимум: убедитесь, что ассистент не имеет права удалять или массово редактировать опубликованный контент без вашего подтверждения.

Маркетологу. CRM-агенты, автоматические рассылки, интеграции с рекламными кабинетами: всё это уже работает через ИИ у многих команд. Начните с инвентаризации: какие ИИ-инструменты реально используют ваши сотрудники. Скорее всего, список удивит.

Предпринимателю и руководителю в РФ и СНГ. Решения класса INFERA AI.SafeAgent ориентированы пока на международный рынок. Из доступных в России шагов: провести аудит ИИ-инструментов внутри компании, настроить политики доступа для агентов средствами существующей инфраструктуры, ввести принцип «запрещено всё, что не разрешено» для любых автоматизаций с доступом к данным. Локальные решения от отечественных вендоров безопасности начинают появляться, но зрелых аналогов runtime-контроля агентов на рынке РФ пока мало.

Первый шаг не требует бюджета и вендора: откройте таблицу и запишите каждый ИИ-инструмент, который используют ваши сотрудники, с указанием, к каким данным и системам у него есть доступ. Этот список и есть ваш реальный периметр, а не тот, что нарисован в презентации для руководства.