AIUC привлекла $40 млн на аудит ИИ-агентов: как мультимодальность влияет на развитие ИИ-агентов и их контроль

Компания AIUC привлекла 40 миллионов долларов и предложила первый независимый стандарт сертификации ИИ-агентов, построенный по модели аудита кибербезопасности SOC 2, и это меняет подход к внедрению агентных технологий в банках, госструктурах и корпорациях.

Стартап Artificial Intelligence Underwriting Company (AIUC) основали Руне Квист, один из первых сотрудников Anthropic, и Раджив Даттани, бывший операционный директор исследовательской организации по безопасности ИИ METR. По данным TechCrunch, компания во вторник объявила о раунде Series A на 40 миллионов долларов под руководством Ribbit Capital с участием First Harmonic. Ранее AIUC закрыла посевной раунд на 15 миллионов долларов от фонда NFDG Нэта Фридмана, Emergence, Terrain и сооснователя Anthropic Бена Манна. Общий объём привлечённых средств составил 55 миллионов долларов.

Среди клиентов AIUC названы Cursor (редактор кода с ИИ-ассистентом), Lovable, Harvey (юридический ИИ) и ElevenLabs (генерация голоса).

Зачем нужен отдельный стандарт для ИИ-агентов?

Мультимодальные ИИ-агенты, которые работают одновременно с текстом, голосом, изображениями и кодом, становятся умнее, но контролировать их при этом сложнее, а не проще. Квист сформулировал проблему так:

Банки, больницы, правительства и военные отказываются от внедрения ИИ не потому, что модель недостаточно умна. Они отказываются, потому что дали обязательства своим клиентам относительно того, что система будет и не будет делать, а гарантировать это сейчас никто не может. : Руне Квист, сооснователь AIUC

Именно для закрытия этого пробела AIUC разработала стандарт AIUC-1, взяв за образец SOC 2 (широко принятый в кибербезопасности стандарт аудита, которым пользуются облачные сервисы, банки и SaaS-компании для подтверждения безопасности данных).

Что понадобится

Если вы рассматриваете сертификацию AIUC-1 для своих ИИ-агентов или хотите понять процесс, вот что нужно знать:

• Рабочий ИИ-агент (агентный продукт или интеграция), который вы планируете внедрить или уже используете
• Понимание, какие данные агент обрабатывает и какие действия выполняет автономно
• Готовность пройти внешний аудит: около 5 000 тестов по сценариям джейлбрейков (попыток обойти ограничения модели), галлюцинаций (когда ИИ уверенно выдаёт несуществующие факты) и утечек данных
• Время на получение и анализ итогового отчёта объёмом около 100 страниц

Пошаговая инструкция

1. Определите, какие ИИ-агенты в вашей компании работают автономно. Составьте список: где агент принимает решения без подтверждения человека, какие данные обрабатывает, с какими внешними системами взаимодействует. Чем точнее карта, тем предметнее аудит.

2. Сформулируйте обязательства, которые вы дали клиентам. Квист подчёркивает: компании отказываются от агентов не из-за качества модели, а из-за невозможности гарантировать поведение. Запишите, что ваш агент должен и не должен делать, это станет основой для тестов.

3. Подайте заявку на аудит AIUC-1. AIUC собрала консорциум из примерно 250 руководителей по безопасности и управлению рисками. Именно их вопросы, «что бы вы хотели проверить, покупая агента?», легли в основу стандарта. Как описал Даттани в интервью TechCrunch:

Это люди, с которыми мы встречаемся ежемесячно, и вопрос, который мы им задаём: когда вы покупаете агентов у кого-то, на что вы смотрите? Какие вопросы хотите задать и что хотите увидеть? : Раджив Даттани, сооснователь AIUC

1. Пройдите тестирование. AIUC прогоняет агента через набор из примерно 5 000 тестов. Сценарии включают попытки джейлбрейка, проверку на галлюцинации и тесты на утечку данных. Тесты проводятся при помощи ИИ-агентов, данные анализирует ИИ, но финальный аудит верифицируют люди.

2. Получите отчёт и действуйте по результатам. Итоговый документ, около 100 страниц, показывает, где агент ведёт себя безопасно и надёжно, а где есть проблемы. Даттани описывает результат так: «Вот где он проходит проверку и где ему можно доверять. А вот где есть проблемы. Вы должны знать об этом, прежде чем принимать решение о покупке».

3. Встройте результаты аудита в процесс закупки или внедрения. Отчёт AIUC-1 работает как сертификат SOC 2 в мире кибербезопасности: документ, который ваш контрагент или регулятор может потребовать и проверить.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы используете ИИ-агента для генерации контента, подбора тем или автоматических ответов, задайте себе вопрос из стандарта AIUC: «Что мой агент должен и не должен делать?» Запишите границы. Это не формальность: мультимодальные агенты, обрабатывающие текст и изображения одновременно, ошибаются чаще на стыке форматов.

Маркетологу. Стандарт AIUC-1 создаёт новый аргумент в переговорах с подрядчиками, которые продают «ИИ-решения» без подтверждения безопасности. Спрашивайте: «Есть ли независимый аудит вашего агента?» Пока ответ «нет», это ваш переговорный рычаг.

Предпринимателю в РФ. Прямого доступа к AIUC из России компания не анонсировала. Но методология открыта: 250 экспертов по безопасности сформулировали вопросы, которые вы можете задать любому поставщику ИИ-агентов уже сейчас. Составьте собственный чек-лист по модели «что агент будет и не будет делать» и включите его в договор.

Факт, что CEO Anthropic Дарио Амодей недавно призвал индустрию замедлить развитие фронтирных моделей и предложил обязать лаборатории использовать встроенных сторонних оценщиков для проверки безопасности, показывает: спрос на независимый контроль растёт не только со стороны покупателей, но и со стороны самих разработчиков. AIUC не предлагает встраиваться в инфраструктуру клиента, как описал Амодей, но решает ту же задачу снаружи. Для любой компании, которая внедряет ИИ-агентов, первый практический шаг не ждать идеального стандарта, а прямо сейчас записать, что ваш агент должен и не должен делать, и проверить это на практике.