«Магнит» разобрал uplift-моделирование на 1,5 млрд контактов: как отделить эффект от привычки

Uplift-моделирование оценивает, насколько изменится поведение клиента от воздействия. По сути это сравнение двух сценариев: человек получил предложение или не получил. Похоже на проверку лекарства, где считают не всех выздоровевших, а разницу между теми, кто принимал таблетку, и теми, кто её не принимал.

Разбор опубликован на Хабре и основан на докладе автора на MAGNIT TECH NIGHT. Мистергазе руководит исследованиями в машинном обучении в проекте CVM «Магнита», который отвечает за персональные предложения покупателям.

Что понадобится, чтобы найти эффект?

• История ваших рассылок, акций или промокодов с результатом: купил человек или нет, сколько принёс.
• Контрольная группа, то есть часть аудитории, которой предложение не отправляли.
• Таблица или любой инструмент аналитики. Для первых прикидок подойдёт чат-бот: из доступных в РФ это YandexGPT и GigaChat.
• Несколько часов, чтобы честно разметить, что ещё влияло на продажи в тот же период.

Пошаговая инструкция: как раскопать сигнал под слоями шума

Автор называет эту работу «археологией». Эффект не лежит на поверхности: его засыпают естественные колебания поведения, чужие кампании, промо и цены. Показательно, что выбор алгоритма в его списке условий успеха стоит после постановки эксперимента, качества данных, схемы проверки и выбора метрик.

1. Переформулируйте вопрос. Не «кто откликнется», а «что произойдёт, если не отправлять ничего». Именно этот вопрос пропускают массовые рассылки, сегментация по правилам, модели отклика и рекомендательные системы.
2. Оставьте контрольную группу. Для каждого клиента виден только один исход: с предложением или без него. Поэтому эффект оценивают по группам похожих людей, и данные должны позволять корректно сравнить тех, кто получил предложение, с теми, кто не получил.
3. Выберите целевое действие. Проще всего взять факт покупки «да или нет». Денежный результат считать сложнее, но, по словам автора, он чаще полезнее, и в «Магните» работают в основном с ним.
4. Разложите аудиторию на четыре группы. Они описаны ниже. Ваша цель: найти убеждаемых и не трогать тех, кому предложение вредит.
5. Вычистите шум. Отметьте, какие акции, скидки и изменения цен шли параллельно. Иначе вы припишете своей рассылке чужой эффект.
6. Проверьте результат в реальной работе. Красивые офлайн-метрики, то есть оценки качества на старых данных до запуска, не гарантируют успеха на живой аудитории.

Для первой прикидки можно дать нейросети такой промпт:

Я автор, отправляю подписчикам рассылку с промокодом.
Помоги спланировать проверку эффекта: как разделить аудиторию
на получивших и не получивших рассылку, какую метрику сравнивать
и какие параллельные события (скидки, другие акции) учесть,
чтобы не приписать рассылке чужой результат.

Четыре группы клиентов из разбора:

• Естественные покупатели купят в любом случае. Предложение им подходит, но эффекта не даёт.
• Безнадёжные не купят ни с предложением, ни без него.
• «Не беспокоить!» купили бы сами, а после предложения передумывают.
• Убеждаемые покупают только благодаря воздействию. Ради них всё и затевается.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Следующий промокод или анонс отправьте не всей базе. Оставьте часть подписчиков без него и сравните результат.

Маркетологу. Пересмотрите отчёты, где успех кампании измеряли откликом. Без контрольной группы вы, скорее всего, платили за естественных покупателей.

Предпринимателю. Сам подход не требует зарубежных сервисов: нужны история продаж и дисциплина эксперимента. Начните с одной акции и одной метрики, например выручки на клиента.