Спроектировать эксперимент email-рассылки
Задать проверяемую гипотезу, варианты, выборку и правила решения, связав результат с фактическими отправками.
Цель теста, аудитория, варианты письма, базовая метрика, ограничения выборки и доступные данные отправок и результата.
План эксперимента с распределением, метрикой, окном наблюдения, остановкой, рисками и правилами разбора результата.
Кому пригодится
Email-маркетологам и аналитикам CRM-коммуникаций.
Требования и ограничения
Для какой задачи подходит
Подходит для тестирования темы, содержания, времени или другого отдельно выбранного изменения. До запуска фиксируется, какой эффект имеет практический смысл и какие данные позволят принять решение.
Что передать агенту
Цель теста, аудитория, варианты письма, базовая метрика, ограничения выборки и доступные данные отправок и результата.
Как устроена работа
- Записать гипотезу, основную метрику и минимально значимый для бизнеса эффект.
- Определить аудиторию, единицу случайного распределения, варианты и объём наблюдения.
- Зафиксировать окно, критерий остановки и правила интерпретации неполной или частичной отправки.
- После теста сверить варианты и аудиторию с подтверждениями ESP и отделить результат измерения от предположений.
Какой результат получится
План эксперимента с распределением, метрикой, окном наблюдения, остановкой, рисками и правилами разбора результата.
Что учесть перед применением
При малой базе тест может остаться неопределённым. Нельзя выбирать победителя по промежуточному удобному числу без заранее принятого правила. План теста не подтверждает отправку и не заменяет проверку согласий, исключений и самого письма.
Автор и источник
Оригинальное название: send-experiment-designer
Автор или репозиторий: aaron-he-zhu/aaron-marketing-skills
Лицензия: Apache-2.0
Открыть первоисточник ↗