Даже лучший ИИ-агент ошибается в каждой четвёртой задаче: Plurai привлекла $13 млн

Если коротко, что такое ИИ-агент: это нейросеть, которой поручают не ответить на вопрос, а выполнить дело целиком. Она сама бронирует поездку, ищет данные в базе или ведёт переписку с клиентом. По данным TechCrunch, такие агенты пока ошибаются слишком часто, чтобы работать без присмотра человека.

Что измеряли?

Агентов проверяют бенчмарками (наборами тестовых заданий, своего рода экзаменом для модели). LiveBench 2.0 даёт моделям 100 задач и считает, сколько из них решено. Компания EON, которая строит инфраструктуру для ИИ, пошла дальше и смоделировала целый виртуальный офис, где агенты выполняли рабочие поручения.

Лучшим в офисной симуляции стал Claude Opus 4.8 с точностью 76,8%. Проще говоря, примерно каждое четвёртое поручение он выполнил неверно.

Plurai предлагает лечить это методом из беспилотников. Сооснователи Илан Кадар и Элад Леви раньше работали в Nexar, которая разрабатывает технологии автономного вождения. Кадар также сотрудничал с Waymo над симуляцией и оценкой её системы беспилотного вождения.

«Как только мы увидели волну ИИ-агентов, мы узнали ту же картину: собрать демо очень легко, а получить что-то надёжное и экономически выгодное трудно» : Илан Кадар, сооснователь Plurai

Что обнаружили?

По словам компании, агенты чаще всего ломаются в трёх типовых ситуациях:

• агент, который бронирует поездки, под давлением клиента игнорирует правила компании о расходах;
• запрос к одной базе данных он решает стабильно, а сведение информации из нескольких баз даёт сбои;
• в долгом разговоре бот службы поддержки перегружается контекстом (объёмом предыдущей переписки, которую он держит в голове) и сворачивает не туда.

Plurai строит цифровой двойник (точную виртуальную копию) электронных систем заказчика: базы знаний и инструментов, к которым агент получит доступ. Затем компания расписывает все возможные пути действий агента и на этой карте готовит проверки и исправления для пограничных случаев (редких нестандартных ситуаций, где модель обычно ошибается). Учатся агенты на синтетических данных, то есть на примерах, сгенерированных искусственно, а не собранных из реальной жизни.

Платформа работает вместе с привычными инструментами для агентной разработки: Claude Code, Codex, Copilot и Cursor.

Главную ставку Кадар делает на другое. Собранные данные компания использует для дообучения (подстройки под узкую задачу) небольших моделей с открытыми весами, то есть моделей, которые можно скачать и запускать на своих серверах. В тестах с Nvidia и Nebius такие модели, по данным компании, обошли передовые модели среднего уровня и оказались дешевле.

Кадар описывает схему так: большую задачу дробят в симуляции на мелкие, обучают под них открытую модель и проверяют, что качество не ниже, чем у передовой. Экономию он оценивает «на порядок или два», то есть в 10 или 100 раз.

Исследователь Google DeepMind Риа Мияра, который вложился в Plurai как бизнес-ангел, видит преимущество в понимании того, как агенты ломаются в боевой работе. По его словам, ИТ-руководители замечают, что передовые модели «не соответствуют моим специфическим данным, а их стоимость в долгосрочной перспективе неподъёмна».

Что это значит для вас?

«Какими бы умными ни стали модели OpenAI и Anthropic, а они станут намного умнее, они не будут знать ваш бизнес и ваши правила» : Илан Кадар, сооснователь Plurai

Автору Дзена. Не отдавайте агенту публикацию без проверки. Даже лидер теста проваливает около каждой шестой задачи, поэтому готовьте с ИИ черновик, а факты, цифры и выводы сверяйте сами.

Маркетологу. Слабые места агентов совпадают с вашими задачами: сведение данных из нескольких таблиц и долгие диалоги с клиентом. Дробите поручение на короткие шаги и обнуляйте переписку, когда она разрастается.

Предпринимателю в РФ и СНГ. О работе Plurai в России компания не сообщала. Сам подход можно повторить своими силами: описать в промпте правила компании, прогнать агента по десятку трудных сценариев до запуска и только потом пускать к клиентам. Из доступных в РФ моделей для таких проверок подходят YandexGPT и GigaChat.

Проверьте своего агента на пяти самых неудобных запросах клиентов до запуска, а не после первой жалобы.

По данным TechCrunch