Проведение A/B/n-тестов

Используйте элемент A/B/n-сплит в Customer Journey, чтобы протестировать, какая последовательность сообщений лучше всего подходит для ваших Conversion Goals. Это поможет вам адаптировать коммуникацию к потребностям и предпочтениям вашей аудитории.

Настройка теста

1. Если вы хотите настроить A/B/n-тестирование в активном Journey, сначала приостановите его. Чтобы узнать больше о редактировании активного Journey, прочтите эту статью.

2. Установите хотя бы один Conversion Goal, который будет использоваться для расчета результатов теста. Например, если вы хотите проверить, какой из двух Push является наиболее эффективным, вы можете установить Event PW_InAppPurchase в качестве Conversion Goal.

Если вы укажете несколько Conversion Goals, результаты будут рассчитываться для каждого Goal отдельно.

3. Разместите элемент A/B/n-сплит на холсте после любого другого элемента и дважды щелкните по нему, чтобы настроить тест.

4. Выберите количество веток. Вы можете добавить до четырех веток в свой тест. Первая ветка всегда считается контрольной группой, с которой сравниваются результаты в других ветках. Продолжайте следовать этому руководству, чтобы узнать, как настроить эту ветку в зависимости от ваших потребностей.

5. Установите процент пользователей, которые попадут в каждую ветку. Сумма по всем веткам должна составлять 100%. В соответствии с установленным вами процентом участники Journey, достигшие этого шага, будут случайным образом разделены на указанное количество веток.

Обратите внимание, что пользователи, попавшие в ветку А, будут считаться контрольной группой, с которой будут сравниваться результаты в других ветках. В следующем шаге описывается, как настроить ветку А для разных случаев.

Note

Возможно, вы захотите установить более высокий процент для ветки А (исходной версии), чтобы осторожно протестировать новую версию кампании без риска снижения conversions.

Однако мы рекомендуем настроить равномерное распределение. В этом случае вы быстрее получите статистически значимые результаты.

6. Теперь вы можете настроить сценарии коммуникации для каждой ветки. Поскольку ветка А является контрольной группой, ее необходимо настроить определенным образом в зависимости от вашего случая:

• Тестирование существующего сценария коммуникации в сравнении с новыми версиями. В этом случае существующая версия должна находиться в ветке А. Также убедитесь, что Conversion Goal может быть достигнут в любой ветке, включая ветку А.
• Тестирование только новых версий друг против друга. Поскольку старого сценария коммуникации нет, одна из новых версий будет помечена как контрольная группа (та, что представлена в ветке А). Убедитесь, что Conversion Goal может быть достигнут во всех ветках.
• Тестирование существующей версии без какой-либо коммуникации в сравнении с новыми сценариями коммуникации. Например, вы хотите добавить еще один Push в конце Journey, чтобы увидеть, повысится ли эффективность кампании по сравнению с исходной версией без этого Push. В этом случае “пустая” версия должна быть представлена в ветке А. Для получения надежных результатов добавьте одинаковый Time Delay в каждую ветку:

7. Если все готово, запустите Journey.

Анализ результатов

Как только тест будет запущен, вы сможете просматривать по нему статистику в реальном времени.

На холсте Journey вы можете увидеть количество пользователей, которые проходят через каждую ветку в рамках Journey:

Чтобы просмотреть результаты теста, дважды щелкните по элементу A/B/n-сплит. Вы увидите статистику по каждой ветке, включая conversion до выбранной цели и метрики, используемые для расчета статистической значимости.

Если вы установили несколько Conversion Goals, вы можете просмотреть результаты для каждого из них, выбрав нужный Goal из списка:

Если у вашего теста есть статистически значимый победитель, вы можете мгновенно отключить менее эффективные ветки, нажав Оставить только победителя (Keep only winner). Новые участники Journey будут направлены в победившую ветку. Пользователи, которые уже попали в деактивированные ветки, продолжат проходить по ним до завершения Journey.

Note

Вы также можете деактивировать ветки вручную, но для этого потребуется приостановить Journey.

Вы можете просматривать результаты теста за определенный период времени. Для этого выберите нужный период на левой панели и дважды щелкните по элементу A/B/n-сплит. Вы увидите статистику за указанное время.

Результаты теста рассчитываются следующим образом:

• conversion рассчитывается на основе количества пользователей в ветке и достигнутых Conversion Goals. Ветка А будет помечена как Baseline, так как она представляет собой контрольную группу.
• При расчете статистической значимости учитываются Z-Score и P-Value. Если результат является достоверным, он будет помечен как Значимый.
• Ветка считается победителем, если у нее самый высокий conversion, и этот результат помечен как Значимый.

Note

Если результат помечен как Значимый, это означает, что его доверительный уровень составляет 90%. Если этого процента вам недостаточно, вы можете рассчитать результат, указав другой доверительный уровень. Например, можно воспользоваться этим калькулятором.

Деактивация веток

Note

Если Wavesend определил статистически значимого победителя, вы можете мгновенно отключить менее эффективные ветки, нажав Оставить только победителя (Keep only winner) в окне статистики теста. В этом случае вам не нужно приостанавливать Journey.

Если какая-то ветка показывает плохие результаты, вы можете ее деактивировать. Новые пользователи больше не будут попадать в деактивированную ветку.

Чтобы деактивировать ветку, сначала приостановите Journey:

После этого дважды щелкните по элементу A/B/n-сплит. Установите 0% для этой ветки и перераспределите процент пользователей, попадающих в оставшиеся ветки: