Дзен показал, как LLM ускоряет AB тестирование: находит дисбалансы за минуты

Михаил Рязанский, руководитель группы технической аналитики Дзена, и Марк Хабаров, лид команды ML-аналитики, описали на Хабре путь от стандартных дашбордов до LLM-отчётов. Их опыт ценен тем, что это не лабораторный эксперимент, а рабочий процесс внутри крупной контентной платформы, где каждое изменение рекомендательной системы затрагивает доходы тысяч авторов.

Что понадобится

• Доступ к любой LLM: ChatGPT, Claude, YandexGPT или GigaChat. Подойдёт даже бесплатный тариф для первых экспериментов.
• Выгрузка результатов вашего AB тестирования в табличном виде: CSV, Google Sheets или экспорт из аналитической системы (Яндекс Метрика, AppMetrica, собственная база).
• Чёткое понимание, какие метрики вы отслеживаете: показы, клики, время на странице, доход автора.
• Примерно 30 минут на первый прогон и настройку промпта (текстовой инструкции для нейросети).

Как Дзен пришёл к LLM-анализу: пошаговая логика

Команда Дзена прошла несколько итераций, прежде чем нашла рабочую схему. Вот последовательность, которую можно адаптировать.

1. Определите, кого затрагивает тест. В Дзене выделили три группы: платформа (бизнес-метрики), пользователи (стандартный А/Б-тест покрывает их поведение) и авторы (их интересы стандартные метрики часто не ловят). Для вашего канала группы могут быть проще: вы как автор, ваши читатели и алгоритм рекомендаций.

2. Соберите данные в структурированном виде. Команда Дзена генерирует HTML-отчёт с четырьмя страницами: авторы и структура показов, топ авторов, финансовое влияние на авторов, влияние на рекомендательную систему. Вам достаточно таблицы с колонками: вариант теста, метрика, значение в контрольной группе, значение в тестовой группе, разница в процентах.

3. Напишите промпт, который задаёт роль и контекст. Дзен использует LLM как «микроштатного аналитика», который делает обобщённые выводы и ищет закономерности. Вот адаптированный промпт для автора:

Ты аналитик контентной платформы. Я даю тебе таблицу с результатами А/Б-теста.

Контекст: тест проверял [описание изменения, например: новый формат заголовков].

Задача:

1. Назови три главных изменения между контрольной и тестовой группами.
2. Укажи, какие категории контента выиграли, а какие проиграли.
3. Есть ли признаки дисбаланса: одна категория растёт за счёт всех остальных?
4. Дай рекомендацию: раскатывать изменение или нет, и почему.

Данные:
[вставьте таблицу]

1. Скормите данные LLM постранично, а не целиком. Команда Дзена сначала получает выводы по каждой странице отчёта отдельно, а затем просит модель сделать итоговую сводку по всем страницам. Такой подход снижает риск галлюцинации (когда модель уверенно выдумывает то, чего нет в данных). Если у вас одна таблица, разбейте её на блоки: отдельно охваты, отдельно вовлечённость, отдельно доход.

2. Попросите модель сравнить пары. Одна из находок Дзена: попарное сравнение авторов с похожими внешними показателями (подписчики, дневная аудитория), но разным поведением в рекомендациях. Для автора Дзена аналог: сравните две публикации с похожим числом показов, но разным временем чтения, и спросите LLM, чем они отличаются по структуре и теме.

3. Проверьте выводы модели вручную. Это не факультативный шаг. LLM находит паттерны, но может ошибаться в причинно-следственных связях. Команда Дзена использует модель как помощника аналитика, а не замену.

Что с этого прямо сейчас?

Авторам Дзена. Даже без доступа к внутренним инструментам Дзена вы можете выгрузить статистику канала, оформить её в таблицу и попросить LLM найти закономерности между форматами, темами и поведением аудитории. Это не полноценное AB тестирование, но первый шаг к системному анализу вместо интуитивного.

Маркетологам. Подход Дзена показывает, как автоматизировать рутину постанализа. Если ваша команда тратит на разбор каждого А/Б-теста день работы аналитика, LLM-промпт сокращает черновую часть до минут. Экономия умножается с каждым тестом.

Предпринимателям в РФ. Инструмент Дзена работает внутри российской инфраструктуры. Для собственных проектов доступны YandexGPT и GigaChat, которые не требуют VPN и принимают оплату в рублях. Для задач анализа таблиц подойдёт и бесплатный тариф Claude или ChatGPT через веб-интерфейс.

Инструмент Дзена начинался с попытки загрузить данные в стандартный дашборд, который не справился. Закончился рабочим ботом, где любой сотрудник вводит номер теста и получает HTML-отчёт с выводами LLM. Для автора канала масштаб другой, но логика та же: собрать данные, разбить на блоки, задать модели правильный вопрос и перепроверить ответ. Начните с одного теста и одного промпта сегодня, результат увидите через полчаса.