Чек-лист из 5 пунктов показывает, что такое ИИ-агент: работу доказывает запись в системе

Крутько руководит управлением SMB (малый и средний бизнес) и Digital в «Софтлайн Решениях» (ГК Softline) и занимается трансформацией российских компаний. Он описывает типичную сцену. Агент на демонстрации читает договор, находит спорные пункты и заводит заявку юристу, зал аплодирует. Потом выясняется: на соседнем договоре агент ошибается, заявка существует только в его ответе, а без автора проект никто не может даже запустить.

Чек-лист автор привёз из Шэньчжэня. Там он неделю общался с командой, которая внедряет корпоративных ИИ-агентов в производственных и дистрибьюторских компаниях.

Что нового: пять признаков рабочего прототипа

Прототип по Крутько означает раннюю версию решения. На ней проверяют выбранную задачу целиком, от получения данных до результата. По его критериям прототип рабочий, если:

• основной сценарий выполняет код, никто не подставляет ответы вручную втихую;
• решение справляется с новым примером того же типа, которого команда не видела при отладке;
• его можно перезапустить по инструкции;
• записано, что сработало на тестовых запусках и где были ошибки;
• команда сама показала заглушки (временные подстановки вместо настоящих модулей), ручные шаги и неподключённые части.

Последний пункт автор считает самым недооценённым.

Заглушка, про которую рассказали сразу, это решение. Заглушка, которую нашёл заказчик, улика. : Иван Крутько, руководитель управления SMB и Digital в «Софтлайн Решениях»

Есть и шестое свойство зрелого прототипа: он умеет сказать «не нашёл». Если нужного договора нет или выгрузка устарела, агент должен так и написать. Дорисовывать правдоподобный ответ нельзя, это и есть галлюцинация (когда ИИ уверенно выдумывает то, чего не было).

Агент говорит, работает или занимает должность?

Чтобы понять, что такое ИИ-агент на практике, Крутько предлагает шкалу из трёх ступеней:

• Умеет говорить. Отвечает на вопросы и ищет информацию. Это чат-бот, даже если его называют агентом.
• Умеет работать. Встроен в процесс, вызывает инструменты, работает с документами и системами, доводит операцию до конца.
• Выходит на должность. Сам ведёт участок, отвечает за результат и имеет свой KPI (показатель эффективности).

Прототип должен доказать вторую ступень, третья относится к пилоту и продакшену (боевой эксплуатации). Ремарка по существу: ошибка из демо-сцены выше, это как раз выдача первой ступени за вторую.

Проверять автор советует скриптом. После каждого прогона тот смотрит, появилась ли заявка в CRM (системе учёта клиентов), ERP (системе управления ресурсами предприятия) или учётной системе и верно ли заполнены поля. Системный журнал показывает, какие шаги агент сделал на самом деле.

Демо доказывает, что агент может. Прототип, что он делает, и делает не один раз. : Иван Крутько, руководитель управления SMB и Digital в «Софтлайн Решениях»

Про деньги Крутько пишет отдельно. Там, где агенты стали частью ежедневной работы, их стоимость считают как затраты на сотрудника, и окупаться она должна сэкономленными часами в обозримый срок. Если прототип не показывает хотя бы порядок двух чисел, стоимости сценария и часов до и после, экономику он не проверил.

Как попробовать: проверьте своего агента за четыре шага

1. Сформулируйте одну задачу и договоритесь, что считать результатом: запись в таблице, письмо, заявку.
2. Дайте агенту пример, на котором его не настраивали, и проверьте результат в самой системе, а не в его ответе.
3. Подсуньте задачу без нужных данных и посмотрите, скажет ли агент «не нашёл».
4. Запишите стоимость сценария и часы до и после.

Подходит ли чек-лист для YandexGPT и GigaChat?

Подходит, потому что он проверяет результат в системе, а не саму модель. Из доступных в РФ вариантов можно собрать агента на YandexGPT или GigaChat и прогнать его по тем же пяти пунктам. От смены модели вопрос «появилась ли запись» не меняется.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если агент собирает вам подборки или черновики, проверяйте итоговый файл, а не его отчёт «готово». Чек-лист годится и как тема для разбора в канале.

Маркетологу. Перед покупкой агента у подрядчика попросите список заглушек и ручных шагов. Считайте агента как штатную единицу: сколько стоит и сколько часов экономит.

Предпринимателю. На демо принесите свой документ, которого команда не видела. Обещание роста прибыли на этапе прототипа считайте красным флагом.

Частые вопросы: что спрашивают про ИИ-агентов?

Что такое ИИ-агент простыми словами?

Программа на основе нейросети, которая не только отвечает на промпт, но и действует: вызывает инструменты, работает с документами и системами. Если она только разговаривает, это чат-бот.

Чем прототип отличается от MVP?

MVP означает минимальную рабочую версию продукта. Прототип отвечает только на вопрос, работает ли подход, поэтому красивый интерфейс и устойчивость к нагрузке от него ждать не стоит.

Можно ли верить фразе агента «заявка создана»?

Нет. Агент пишет «заявка создана» с той же уверенностью, что и «добрый день». Правду знает только система, поэтому открывайте её и проверяйте запись сами.