Время решения обращений сократилось с 22 часов до 22 минут, но хвост сложных случаев остался

Это продолжение статьи на Хабре. В первой части автор писала, что около 45% переданных агенту диалогов завершались без инженера. Во второй она проверила, что изменилось для пользователей, потому что агент может закрыть обращение быстро, может передать его человеку с собранными данными, а может уверенно ответить неверно и тоже поставить статус «решено».

Ниже метод из этого кейса в виде инструкции. Он подойдёт любому, кто подключил нейросеть к клиентской переписке и хочет понять, помогает ли она на самом деле.

Что понадобится для честного замера?

• Выгрузка обращений из CRM (системы учёта клиентов и заявок) с полной историей переписки, а не только с датами открытия и закрытия.
• Точная дата запуска ИИ-агента, то есть программы, которая сама отвечает клиентам и выполняет действия.
• Два одинаковых по длине периода, до запуска и после.
• Правила, по которым вы отличаете содержательный ответ от формального.
• Таблица или скрипт для расчёта медианы и 90-го процентиля.

Как пересчитать время решения по шагам?

1. Возьмите два равных периода вокруг запуска. В кейсе агент вышел в поток 16 июля 2026 года, сравнивали интервалы с 16 июня по 15 июля и с 17 июля по 15 августа. День запуска исключили, потому что в нём смешались два режима работы.
2. Оставьте только закрытые обращения без дублей. У автора получилось 1 876 до запуска и 3 078 после. Учтите, что открытые на конец периода обращения выпадают, а с ними может уйти часть самых долгих случаев.
3. Массовые инциденты не удаляйте, но помечайте. Один согласованный ответ на множество одинаковых обращений заметно сдвигает и скорость, и долю автоматических решений.
4. Разведите режимы работы ИИ. В кейсе их три: консультант инженера в виде виджета в CRM, самостоятельная обработка обращений агентом и автоматические подсказки инженерам. За шесть недель с 20 июля по 30 августа консультант получил 1 934 вопроса, агент сам обработал 3 558 обращений, подсказки пришли по 1 208. Складывать эти числа нельзя, одно обращение проходит через несколько режимов.
5. Определите точку фактического решения. Это последний содержательный ответ агента или инженера, если он дал пользователю самостоятельное решение или согласованный статус известного инцидента.
6. Исключите то, что решением не считается: благодарность пользователя, автоматическое закрытие, вопрос «остались ли у вас вопросы?», файл или смену статуса без ответа, внутренний комментарий куратора, запрос логов, если после него было отдельное решение.
7. Считайте два показателя в календарных часах. Медиана показывает середину: половина обращений решилась быстрее, половина медленнее. 90-й процентиль показывает хвост, то есть время, в которое уложились 90% обращений.
8. Сравните результат с формальной датой закрытия из CRM.

Разметку содержательных ответов можно поручить нейросети, а спорные случаи проверить вручную:

Ты проверяешь переписку службы поддержки.
Отметь последний ответ сотрудника или агента, который даёт
пользователю самостоятельное решение или статус известного инцидента.
Не считай решением: благодарность, автозакрытие, вопрос
«остались ли вопросы», смену статуса без ответа, внутренний
комментарий, запрос логов, если после него было решение.
Верни время этого ответа и одну фразу с обоснованием.

По итогам замера медиана фактического решения сократилась с 21 часа 52 минут до 22 минут, 90-й процентиль с 211 часов 41 минуты до 76 часов 36 минут. Формальное закрытие сдвинулось меньше: медиана с 70 часов 18 минут до 49 часов 2 минут, 90-й процентиль с 307 часов 50 минут до 188 часов 29 минут. Из 3 078 обращений после запуска агент решил сам 1 647.

Разрыв между 22 минутами и 49 часами сам показывает, куда уходит время: в ожидание подтверждения и автоматического закрытия, а не в работу над проблемой. Автор отдельно оговаривает, что выборки не выровнены по темам, поэтому это описание изменений процесса, а не доказательство эффекта агента.

Что это значит для автора, маркетолога и предпринимателя?

Автору Дзена. Если вы отвечаете подписчикам с помощью нейросети, засекайте время до ответа по сути, а не до последнего сообщения в чате. Кейс сам годится как пример для статьи о том, как не обмануться метрикой.

Маркетологу. В отчёте о внедрении ИИ показывайте два числа, медиану и хвост, плюс разрыв между фактическим и формальным закрытием. Этот разрыв подсказывает, где процесс тратит время клиента впустую.

Предпринимателю в РФ и СНГ. Метод не привязан к конкретной модели, его можно применить к любому боту поддержки. Из доступных в России нейросетей для разметки переписки подойдут YandexGPT и GigaChat. Начните с выгрузки за месяц до и месяц после запуска.

Кто считает эффект ИИ по дате закрытия, тот видит особенности своего процесса закрытия, а не помощь клиенту. Медиана в 22 минуты показывает, что типовое обращение движется быстрее, а хвост в 76 часов показывает, над чем ещё работать.