Пилот дата агента: метрики и приёмка

Тема ИИ-агентов (программ, которые сами выполняют цепочки действий, а не просто отвечают на вопросы) набирает обороты, но большинство компаний застревают между «инструмент купили» и «процесс заработал». Команда BI GlowByte опубликовала третий разбор материалов вендора FanRuan, где взяла управленческий каркас (пять этапов пилота, владелец сценария, стартовая команда) и развернула его в практические артефакты: шаблон брифа, процедуру приёмки из 30-50 контрольных вопросов, матрицу точек проверки человеком и пять метрик для решения «оставляем или закрываем». В оригинале вендора ни одной цифры и ни одного шаблона не было.

Почему дашборды и агенты умирают одинаково?

GlowByte описывает типичный сценарий, знакомый по обычным BI-внедрениям. Первый месяц: обучение забито, все обмениваются приёмами промпт-инжиниринга (подбора запросов к модели), подразделения приносят списки идей. Через три месяца инструментом пользуется узкая группа энтузиастов, а руководство не может назвать ни один процесс, который ускорился.

Причина одна: сделали артефакт, но не встроили его в рабочий процесс. Дашборд собран, принят с восторгом, а через квартал в него заходят два человека из тридцати.

Разница между демо и пилотом формулируется так: демо отвечает на вопрос «может ли агент это сделать», пилот отвечает на вопрос «останется ли это работать после того, как команда внедрения выйдет из комнаты».

Шесть шагов пилота: от брейншторма до метрик

GlowByte раскладывает пилот на шесть шагов. Первый и самый жёсткий фильтр: выбрать сценарий, который можно проверить. Вендор советует брать частую повторяющуюся работу с ясным периметром данных, но GlowByte добавляет четыре критерия, которые отсеивают большинство предложений с брейншторма:

• Частота. Задача случается минимум раз в неделю. Квартальный процесс не даст наблюдений, чтобы отличить «агент работает» от «один раз повезло».
• Цена ошибки. Первый сценарий не уходит наружу и не влияет на деньги напрямую. Операционная сводка подойдёт, расчёт бонусов или отчётность регулятору нет.
• Граница данных. Один-два источника. «Пусть посмотрит все наши данные» это не сценарий.
• Наличие эталона. Должен существовать способ узнать правильный ответ независимо от агента. Если правильный ответ не может посчитать никто, приёмку провести нечем.

Из десятка идей после фильтра обычно остаётся одна-две, и это нормальный результат, а не провал.

Бриф как входной билет в пилот

Второй шаг: превратить запрос в бриф. GlowByte приводит пример из FanRuan: руководитель операций говорит «хочу быстрее видеть картину по бизнесу каждое утро». С этой фразой агент не сделает ничего.

Перевод запроса формализуется в таблицу. Пока в ней остаются пустые клетки, пилот не начинается. Отдельно выделяется последняя строка: ответ «продажи составили ноль» опаснее ответа «данные за вчера не загрузились». Агент, который умеет отказаться, полезнее агента, который отвечает всегда.

Приёмка: 30-50 вопросов решают судьбу пилота

Четвёртый шаг, приёмка, самый практичный. На входе собираются 30-50 реальных вопросов с совещаний за последний квартал. По каждому аналитик вручную готовит эталонный ответ. Это занимает от 2 до 4 дней и, по оценке GlowByte, оказывается самой полезной инвестицией в пилоте: набор кейсов остаётся у компании и переиспользуется при каждом обновлении модели данных.

Ответы агента раскладываются на три категории:

• Точные попадания: совпали с эталоном.
• Правдоподобные, но неверные: уверенный ответ с неправильной цифрой. Это галлюцинация (когда ИИ уверенно выдумывает то, чего не было), и по ключевым метрикам таких ответов должно быть ноль.
• Отказы: агент сказал, что данных нет. Это плюс, а не минус.

Порог приёмки фиксируется в брифе заранее. Договариваться о нём после прогона поздно: цифры уже видны, и обсуждение превращается в торг.

Где агент действует сам, а где нужен человек?

Пятый шаг: точки проверки человеком. GlowByte раскладывает сценарии по двум осям: цена ошибки и обратимость.

• Дёшево и обратимо (внутренняя сводка): агенту полностью.
• Дорого, но обратимо (алерт, который поднимает смену): автоматизируем, но с пометкой источника и времени данных.
• Дёшево, но необратимо (письмо контрагенту): только через человека.
• Дорого и необратимо (действие с деньгами): агент готовит проект, решение принимает человек, факт согласования пишется в лог.

Отдельно фиксируется процедура остановки: кто выключает сценарий, если агент начал выдавать ерунду, и как получатели узнают, что рассылка приостановлена. В пилоте это обычно один человек и одна кнопка, но договориться нужно до инцидента.

Что с этого вам по ролям?

Автору Дзена. Если вы пишете про ИИ-инструменты или тестируете их для контента, матрица «цена ошибки и обратимость» работает и для текстов: черновик для себя можно отдать агенту целиком, публикацию от имени бренда только через ручную проверку.

Маркетологу. Шаблон брифа из статьи GlowByte можно адаптировать под любой ИИ-инструмент: пока не заполнены все строки (какая метрика, откуда данные, кто получатель, как выглядит ошибка), пилот не стартует. Это избавляет от месяцев «поиграли и забросили».

Предпринимателю в РФ. Подход не привязан к конкретному вендору. Из доступных в России платформ с агентными (способными выполнять цепочки действий) возможностями можно смотреть на YandexGPT и GigaChat, но ключевой вывод статьи в том, что процесс приёмки первичен, а платформа вторична.

Агент, который умеет отказаться, полезнее агента, который отвечает всегда. : Команда BI GlowByte

Пилоты ИИ-агентов в российских компаниях в ближайший год будут проходить ту же кривую: восторг, спад, разочарование, и выживут те сценарии, где до старта зафиксированы метрики и порог приёмки, а после двух месяцев эксплуатации кто-то способен сказать «закрываем» так же легко, как «продолжаем».