Аналитика нейросетей без правильных вопросов: Microsoft показала, как три отчёта скрывали правду

Материал продолжает серию, в которой аналитик пришёл в чужой процесс техподдержки, построил анализатор задач и столкнулся с неожиданностью. Когда инструмент перестал ошибаться, оказалось, что главная проблема не в данных, а в том, какие вопросы задают к этим данным. Автор открыл существующие отчёты компании и обнаружил: отчётность была, но формировала искажённую картину. Источник не называет конкретную компанию, речь идёт об обобщённом, но реальном проекте.

Три отчёта, которые врали по-разному

Отчёт с рейтингом 4,5 звезды. Главный экран показывал оценку качества поддержки. Выглядело отлично, пока не выяснилось: оценку ставили добровольно. Без данных о доле ответивших и без анализа выборки (репрезентативности, то есть насколько ответившие отражают всех клиентов) цифра 4,5 из 5 ничего не доказывает. Довольные и недовольные клиенты оставляют отзывы с разной вероятностью. Смещение есть, но в какую сторону, неизвестно.

Отчёт с 19 тысячами «проблемных» задач. Число было красным и создавало ощущение кризиса. На деле это были результаты первой, ещё не откалиброванной версии анализатора. 19 тысяч кандидатов на аномалии из 145 тысяч задач, 13% базы. После переработки критериев внимания потребовали чуть больше тысячи открытых задач. Остальное: архив, штатные переходы статусов, технические маршруты.

Отчёт о нарушениях SLA (Service Level Agreement, соглашение о сроках обслуживания). Число нарушений выглядело угрожающе. Но из почти 400 открытых задач в статусе ожидания большинство зависли не по вине поддержки: согласование с бизнесом, ответ от клиента, действие другой команды. Метрика отвечала на вопрос «сколько задач нарушило SLA», но не на вопрос «по чьей причине», а именно второй вопрос нужен для принятия решения.

Почему плохой дашборд хуже пустого экрана?

Автор формулирует ключевой тезис всей статьи: отсутствие информации заставляет искать ответ, а плохая информация создаёт иллюзию, что ответ уже найден.

Руководитель с пустым экраном знает, что не знает. Руководитель с красивыми графиками, отвечающими не на те вопросы, уверен, что понимает ситуацию.

Это напрямую касается аналитики нейросетей: если вы подключили ИИ-дашборд, но не задали правильный вопрос, нейросеть добросовестно визуализирует бессмыслицу.

Сначала решение, потом метрика

Автор предлагает простой тест для любого показателя: «какое решение руководитель примет, глядя на эту цифру?»

• «Общее количество открытых задач» тест не проходит. Цифра выросла, но непонятно почему: рост нагрузки или изменение фильтрации.
• «Количество задач в статусе "Отложен" дольше 30 дней» тест проходит. Руководитель знает действие: зайти в каждую, выяснить, что ждёт и кто должен действовать.

Разница не в сложности вычисления, а в том, ведёт ли метрика к действию.

Три горизонта вопросов вместо одного экрана

Автор разделил все управленческие вопросы на три группы по частоте:

Каждое утро:

• Что требует внимания прямо сейчас?
• Где появились задачи без исполнителя?
• Где образовалась пробка?

Раз в неделю:

• Где начинает накапливаться проблема?
• Где время ожидания растёт от недели к неделе?

Раз в месяц:

• Куда движется процесс в целом?
• Какие категории задач растут непропорционально?

Один экран без разделения этих горизонтов смешивает срочные сигналы, тенденции и стратегические показатели и не отвечает ни на один вопрос по-настоящему. Итого автору хватило шести отчётов вместо двадцати: живая очередь, маршрутизация, классификация, отложенные задачи, межсистемные процессы и шестой (не раскрыт в опубликованной части).

Как попробовать этот подход у себя?

1. Откройте любой регулярный отчёт и задайте к каждой метрике вопрос: «Что я сделаю, если эта цифра вырастет на 20%?» Если ответа нет, метрика декоративная.
2. Проверьте выборку. Если показатель считается по добровольным ответам, узнайте долю ответивших. Без этой цифры рейтинг не является оценкой всей базы.
3. Разделите вопросы на три горизонта (утро, неделя, месяц) и разнесите по разным экранам или вкладкам.

Сравнение с российскими инструментами

В РФ аналитику поддержки часто строят на Yandex DataLens (бесплатный BI от Яндекса) или встроенных отчётах Kaiten и YouTrack. Проблема, описанная в статье, воспроизводится один в один: DataLens покажет любой график, но если вопрос к данным сформулирован неверно, результат будет таким же декоративным. YandexGPT и GigaChat умеют генерировать текстовые сводки по таблицам, но пока не умеют сами проверять репрезентативность выборки. Ответственность за правильный вопрос остаётся на человеке.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы смотрите статистику канала, примените тот же тест: «показы выросли» не ведёт к действию, «показы выросли, а дочитывания упали» ведёт. Стройте свои отчёты от решения, а не от доступных цифр.

Маркетологу. NPS (индекс лояльности клиентов) и CSAT (оценка удовлетворённости) по добровольным ответам страдают тем же смещением выборки. Узнайте процент ответивших, прежде чем нести цифру руководству.

Предпринимателю. Если ваша поддержка отчитывается красивым рейтингом без указания доли ответивших, вы, возможно, принимаете решения по искажённой картине. Шесть целевых отчётов дешевле двадцати декоративных.

Частые вопросы

Нужна ли нейросеть, чтобы применить этот подход?

Нет. Подход работает с любым инструментом: Excel, DataLens, Power BI. Нейросеть помогает быстрее формулировать запросы к данным и генерировать текстовые сводки, но ключевое действие, правильно поставить вопрос, выполняет человек.

Как понять, что моя метрика декоративная?

Задайте вопрос: «Если эта цифра завтра вырастет вдвое, что конкретно я сделаю?» Если ответ: «посмотрю внимательнее» или «подожду», метрика не ведёт к действию. Замените её на показатель, который подсказывает конкретный шаг.

Почему 4,5 звезды из 5 может быть проблемой?

Потому что оценку ставят добровольно, и доля ответивших неизвестна. Довольные и недовольные клиенты отвечают с разной вероятностью. Без данных о проценте ответивших невозможно утверждать, что 4,5 отражает мнение всей клиентской базы. Красивая цифра на главном экране может скрывать реальные проблемы.