Сплит-тест

Как делится трафик

В TDS.SO в одном адресе назначения перечисляются несколько URL через |. Каждый клик случайно выбирает один из них с равными шансами, поэтому на большом объёме трафик делится поровну: два адреса получают около 50% каждый, три — около трети. На малых объёмах поровну не получится, и это нормально.

Чтобы тестировать только часть трафика, например одну страну, поместите адреса в правило для этой страны вместо основного URL.

Как провести честный тест

1. Меняйте между вариантами одну вещь: заголовок, лендинг или оффер.
2. Помечайте адреса по-разному, например ?variant=a и ?variant=b, чтобы в отчётах их можно было различить.
3. Давайте вариантам одинаковый трафик в одно и то же время.
4. Дождитесь, пока у каждого варианта наберётся достаточно конверсий. Несколько сотен кликов с горсткой конверсий нередко показывают случайную разницу.
5. Сравнивайте итоговый ROI, а не только клики.

Сплит-тест, A/B и мультивариантный тест

В обиходе «сплит-тест» и «A/B-тест» означают одно и то же: целые варианты сравниваются друг с другом. Мультивариантный тест меняет сразу несколько элементов и требует гораздо больше трафика, чтобы понять, какой из них дал разницу. В большинстве арбитражных связок проще читать серию обычных тестов из двух вариантов.

Как смотреть результаты в TDS.SO

В логе кликов видно, на какой адрес ушёл каждый посетитель. При включённом трекере постбеки привязывают конверсии к кликам, поэтому можно сравнить конверсию и ROI по офферам или меткам. См. редиректы и руководство по A/B-тесту в документации.

Вопросы

Сколько должен идти сплит-тест?

Пока у каждого варианта не наберётся достаточно конверсий, чтобы разница была больше шума. Фиксированного числа дней нет, на малом трафике тест идёт дольше.

Сплит-тест всегда делит трафик 50/50?

Нет. Если в одном правиле несколько URL через |, каждый клик выбирает один из них случайно с равными шансами. В среднем деление ровное, на малых объёмах оно приблизительное.

Что можно сплит-тестировать?

Лендинги, прелендинги, офферы или один оффер в разных сетях. Меняйте по одному элементу, чтобы результат был понятен.