Что такое ИИ-агент на практике: эксперимент вскрыл 5 дыр в безопасности автономной разработки

Инженер, работающий с ИИ-агентами (agent, программа, которая сама планирует шаги, пишет код, запускает тесты и предлагает изменения), опубликовал детальный отчёт о попытке собрать систему, где агенты самостоятельно ведут проект от описания идеи до готового продукта. Эксперимент проводился на macOS с использованием Codex CLI и Claude Code.

Проект находится на стадии архитектурных решений и прототипов. Автор описал не готовый продукт, а серию экспериментов, которые показали, где именно ломается доверие к автономной работе ИИ. Для тех, кто слышит термин впервые: что такое ИИ-агент на практике? Это программа, которая не просто отвечает на вопрос, а сама решает, какие шаги предпринять, выполняет их и проверяет результат, почти как стажёр, только без перерыва на обед.

Какие проблемы вскрыл эксперимент?

• Запрет на чтение файла не защищает данные. Агент не смог напрямую прочитать закрытый файл с тестовыми данными, но получил те же данные через HTTP-запрос к работающему сервису. Заблокировали одну дверь, а окно осталось открытым.
• Дочерние процессы живут после «остановки». Процесс, запущенный агентом, отделился от родительской группы и продолжил работу после того, как координатор считал задачу завершённой. Система думала, что всё готово, а код продолжал выполняться.
• Виртуальная машина помогла, но не полностью. Отдельные Linux VM (виртуальные машины, изолированные «компьютеры внутри компьютера») закрыли прямой доступ к хосту. Но JavaScript из созданного приложения выполняется в браузере пользователя, то есть уже за пределами изоляции.
• 2 ГБ памяти VM не равны 2 ГБ на хосте. Процесс виртуализации, вспомогательные компоненты и накладные расходы потребляют дополнительную память, которую сложно учесть и ограничить.
• 37 из 38 проверок прошли, но итог отрицательный. Автор не смог доказать совокупную гарантию потребления ресурсов для хост-системы. Ограничение виртуального адресного пространства не доказывало предел физической памяти.

Главный архитектурный вывод

Автор эксперимента пришёл к выводу, который полезно запомнить всем, кто планирует использовать ИИ-агентов для автоматизации: границы доверия нужно определять не по изоляции конкретного процесса, а по потокам данных и выполняемым действиям. Проще говоря, недостаточно посадить агента в отдельную «комнату», нужно контролировать все каналы, по которым он может получить или отправить информацию.

Из 97 наблюдений в первом эксперименте с песочницей macOS 57 операций были отклонены, 40 разрешены. Архитектура не выполнила обязательные требования безопасности.

Как попробовать работу с ИИ-агентами самостоятельно?

1. Начните с простых задач. Установите Claude Code или Codex CLI и поручите агенту одну изолированную задачу: написать функцию, исправить баг, сгенерировать тест. Не отдавайте сразу целый проект.
2. Проверяйте каждый результат. Даже если агент сообщает об успехе, просмотрите код и убедитесь, что побочных процессов не осталось. Галлюцинация (когда ИИ уверенно выдумывает несуществующее) касается не только текста, но и кода.
3. Не давайте агенту доступ к рабочим данным. Используйте тестовые репозитории и синтетические данные. Эксперимент показал, что даже при файловых ограничениях данные могут утечь через сетевые запросы.

Что есть в России?

Для аудитории, работающей в РФ, ситуация с автономными ИИ-агентами пока скромнее. YandexGPT и GigaChat умеют генерировать текст и код, но полноценных агентных систем, которые сами планируют работу, запускают процессы и проверяют результат, у российских сервисов на момент публикации нет.

Если вы автор Дзена или маркетолог, а не разработчик, вам пока не нужно настраивать виртуальные машины. Но понимать, что такое ИИ-агент и где проходят его границы, уже полезно: через год-два эти системы придут в контент и маркетинг.

Частые вопросы

Могу ли я уже сейчас поручить ИИ-агенту вести мой проект целиком?

Нет. Эксперимент показал, что даже на уровне прототипа возникают проблемы с безопасностью данных, контролем процессов и ресурсов. ИИ-агенты пока надёжно работают только на отдельных задачах под наблюдением человека.

Чем ИИ-агент отличается от обычного чат-бота?

Чат-бот отвечает на один вопрос за раз. ИИ-агент сам разбивает задачу на шаги, выполняет их последовательно, проверяет результат и решает, что делать дальше. Разница примерно как между калькулятором и бухгалтером: калькулятор считает то, что вы ввели, а бухгалтер сам решает, что считать.

Нужны ли технические знания, чтобы пользоваться ИИ-агентами?

Для текущих инструментов вроде Codex CLI и Claude Code нужны базовые навыки работы с командной строкой. Но рынок движется к тому, чтобы агенты управлялись обычным текстом на человеческом языке. Пока до этого не дошло, нетехническому специалисту лучше использовать привычные интерфейсы YandexGPT или GigaChat и следить за появлением агентных функций в них.

Эксперимент с автономными ИИ-агентами пока закончился списком нерешённых задач, а не готовым продуктом. И это, пожалуй, самая полезная новость для практиков: кто понимает границы инструмента, тот не потеряет на нём ни данные, ни время.