Ротатор офферов и сплит-тест лендингов: доли без искажений

Чтобы сравнить два лендинга или два оффера, половину трафика отправляют на один вариант, половину на другой и смотрят, кто конвертит лучше. Сама раздача трафика устроена просто. Сложнее сделать так, чтобы цифры в конце теста что-то значили. Большинство «победителей» в сплит-тестах у арбитражников оказываются шумом, сбитыми по ходу настройками или всплеском ботов.

Ниже два способа делить трафик по долям, когда подходит каждый, сколько кликов нужно набрать, прежде чем верить результату, и ошибки, которые тихо портят тест.

Два способа деления: равный шанс и доли

В TDS.SO есть два инструмента, и отвечают они на разные вопросы.

Несколько URL в одном правиле через |. Каждый клик выбирает один из адресов случайно, с равным шансом. Два лендинга дают около 50/50, четыре около 25% на каждый. Задать пропорции нельзя, и в тесте это как раз нужно: ни у одного варианта нет привилегированной доли.

Ротатор ссылок. Вы перечисляете адреса и задаёте каждому долю, например 50/30/20. Доли можно менять в любой момент, ссылка в объявлении остаётся прежней. Этим инструментом делят объём между офферами: сильному половина, второму треть, а маленькая доля уходит новичку, которого вы ещё проверяете. Подробнее на странице ротатора.

Что даёт случайность, а что нет

Случайный выбор означает, что каждый клик независим. На 1000 кликов при делении 50/50 точно 500 и 500 не выйдет. Может получиться 487 и 513, и это нормально. С ростом объёма относительный разрыв уменьшается, поэтому не стоит нервничать из-за перекоса на первых ста кликах.

Случайность не гарантирует, что один и тот же человек увидит один и тот же вариант. Если он кликнул дважды, в первый раз ему мог попасться лендинг A, во второй B. Для обычного платного трафика это встречается редко и этим можно пренебречь, но если у оффера длинный цикл принятия решения, помните об этом.

Сколько кликов нужно, чтобы верить результату

Допустим, вы покупаете трафик по $0.10 за клик, и лендинг A конвертит на 2,5%. Вы сделали лендинг B и надеетесь на 3,5%. После 300 кликов на каждый у A 7 конверсий, у B 11. B выглядит на 50% лучше. Опираться на это нельзя: разброс в несколько конверсий в любую сторону легко получается случайно.

Есть общее правило из статистики (мощность около 80% при обычном уровне значимости 5%): нужно примерно 16 × p × (1 − p) / d² кликов на вариант, где p это базовая конверсия, а d разница, которую вы хотите заметить. Числа ниже условные, подставьте свои:

• База 2,5% (0,025), цель 3,5%, то есть d = 0,01: 16 × 0,025 × 0,975 / 0,0001 это около 3900 кликов на вариант.
• По $0.10 за клик это примерно $390 на вариант и $780 на весь тест.
• Если интересен только большой скачок, скажем с 2,5% до 5%, d = 0,025 и хватит около 620 кликов на вариант.

Вывод для планирования: небольшие улучшения требуют большого объёма, а крупные видны быстро. До старта решите, какая минимальная разница изменит ваше решение, посчитайте объём и проверьте, хватает ли бюджета. Если не хватает, тестируйте что-то смелее: другой угол подачи или другой оффер, а не цвет кнопки.

Это общее правило из статистики, а не функция какого-либо трекера. TDS.SO делит трафик и пишет клики, а выводы о значимости делаете вы.

Ошибки, которые портят сплит-тест

Менять доли по ходу

Доли можно править в любой момент, и соблазн подкрутить их, когда через два дня один вариант вырвался вперёд, велик. Не делайте этого. Если в понедельник у A было 30% трафика, а в среду 70%, и ваша аудитория отличается по дням недели, варианты видели разных людей. Либо держите доли неизменными, пока не наберёте запланированный объём, либо начинайте новый тест с чистого периода и записывайте дату.

Мешать гео

Допустим, лендингу A чисто случайно досталось больше кликов из страны с высокой конверсией. Он выиграет по причинам, не связанным со страницей. Держите одно гео на тест или поставьте сверху условие по стране и делите внутри каждой страны отдельно. Правила проверяются сверху вниз, срабатывает первое подходящее, поэтому правило для страны стоит выше общего. Подход тот же, что в статье гео-редиректы без головной боли.

Пускать ботов в выборку

Боты кликают, никогда не конвертят и распределяются между вариантами неравномерно. Если всплеск трафика с дата-центров пришёлся на B, его конверсия упадёт, и вы выбросите хороший лендинг. Включите уровень фильтра под ваш источник и отметьте нужные сигналы, например дата-центры или пустой реферер. Отфильтрованные клики уходят на страницу, которую вы задали, и остаются в логе с причиной, так что видно, сколько убрано. Подробности на странице антибота, а признаки описаны в статье признаки бот-трафика.

Оценивать по кликам, а не по конверсиям

Клики по вариантам говорят лишь о том, что деление работает. Лендинг с высоким переходом на оффер может дать меньше продаж, если неправильно прогревает посетителя. Сравнивайте конверсии на клик и, если получится, доход на клик. В TDS.SO трекер с постбэками, конверсиями, доходом и ROI находится в бете: доход считается по подтверждённым конверсиям, расход по всем кликам. Если постбэков у вас ещё нет, возьмите подтверждённые лиды из отчёта партнёрки и сопоставьте по вариантам.

Остановиться на первом лиде

Момент, когда один вариант вырвался вперёд, не повод останавливать тест. Задайте объём заранее и смотрите результат, когда он набран.

Пример: как читать итог теста

Условные числа. Вы запустили равное деление на двух лендингах и набрали по 4000 кликов на вариант. У A 100 конверсий (2,5%), у B 130 (3,25%). Разница выглядит заметной, и объём вы набрали по плану, поэтому результату можно доверять заметно больше, чем в примере с 300 кликами.

Перед тем как объявить B победителем, проверьте три вещи. Первое: доля ботов в обоих вариантах была примерно одинаковой, то есть в логе кликов причины фильтрации распределены ровно. Второе: за время теста вы не трогали доли и страницы. Третье: гео и устройства в вариантах сопоставимы. Если всё сходится, переводите B в ротатор с высокой долей и запускайте следующий тест против нового претендента.

Если разница получилась маленькой, скажем 2,5% против 2,7%, не гонитесь за ней. Такой прирост требует десятков тысяч кликов на вариант, и обычно разумнее потратить бюджет на проверку другого оффера или другого угла подачи.

Чек-лист перед запуском

1. Одна гипотеза, одно изменение. Если вы поменяли заголовок и оффер вместе, не узнаете, что сработало.
2. Один источник, одно гео, одна группа устройств на тест.
3. Равное деление через | для сравнения.
4. Фильтр ботов включён, сигналы выбраны под источник.
5. Плановый объём на вариант записан.
6. Есть способ видеть конверсии по вариантам: постбэки или отчёт партнёрки с сопоставлением.
7. Доли и страницы не трогаются до набора объёма.

После теста: переход на веса

Когда тест закончен, переключитесь на ротатор и оставьте победителю большую долю, например 80%, а остальное отдайте претенденту. Так сохраняется небольшой поток свежих данных, и вы заметите, когда победитель выдохся. Ссылка в объявлении не меняется, кампания не затрагивается.

FAQ

Можно ли делить 70/30 в тесте?

Можно через ротатор, но малой доле нужно больше времени, чтобы набрать тот же объём. Берите 50/50, если нет причины вроде защиты сильного оффера от рискованного изменения.

Нужен ли для этого трекер?

Для деления трафика нет. Чтобы понять, какой вариант конвертит лучше, нужны конверсии, привязанные к клику: постбэк или отчёт партнёрки, который можно сопоставить по варианту. См. что такое постбэк.

Сколько должен идти сплит-тест?

Пока не наберёте плановый объём, и не меньше полной недели, если аудитория ведёт себя по-разному в будни и выходные. Сутки в статистике TDS.SO считаются по вашему часовому поясу, это помогает сравнивать целые дни.

Что тестировать сначала, лендинги или офферы?

Офферы обычно различаются сильнее, поэтому разница видна на меньшем трафике. Тесты лендингов требуют большего объёма ради меньшего прироста.

Что делать, если трафика не хватает на нужный объём?

Тестируйте одно крупное изменение вместо нескольких мелких или растяните тест на больший срок при меньшем дневном бюджете.

Как настроить ротатор или равное деление на одной ссылке, смотрите на странице ротатора ссылок и в тарифах.