Ложные клики в email рассылке: боты кликают по ссылкам

В отчёте по рассылке 3000 кликов. В аналитике лендинга 900 визитов, которые длились дольше пары секунд, а продаж столько же, сколько в прошлом месяце. Если разрыв знаком, значит, заметная часть кликов пришла от программ, а не от ваших подписчиков.

Корпоративные системы защиты почты и некоторые почтовые клиенты открывают ссылки в письме, чтобы проверить их до того, как человек прочитает сообщение. Для вашей трекинговой ссылки такой заход выглядит как обычный клик. Ниже разбор: как узнать такие клики, чем они отличаются от накрученных открытий и что сделать, чтобы отчёты показывали реальный интерес читателей.

Зачем сканеры кликают по вашим ссылкам

Фишинг встречается настолько часто, что многие компании ставят перед рабочими ящиками шлюз безопасности. Когда приходит письмо, шлюз ищет опасные ссылки. Чтобы оценить ссылку, система нередко открывает её, проходит редиректы и смотрит, на какой странице всё заканчивается. Некоторые почтовые клиенты и браузеры делают похожее, чтобы показать превью или заранее установить соединение.

Со стороны сканера это разумно. С вашей стороны каждая проверенная ссылка это запрос к вашему трекинговому домену, который статистика считает визитом. Сервис рассылок может отфильтровать часть таких запросов, а часть пропустить. Если поверх вы ставите собственный трекер с редиректами, получается ещё одно место, где эти обращения считаются.

Чем больше в базе B2B, тем сильнее эффект. Рабочие адреса чаще всего стоят за шлюзом. В базе личных ящиков на массовых почтовых сервисах таких кликов меньше, но они всё равно бывают.

Как сканеры видны в данных

Один явный маркер встречается редко. Обычно видно несколько мелких признаков вместе.

• Клики через секунды после отправки. Человеку нужно время, чтобы получить, открыть и прочитать письмо. Клик через одну-две секунды после доставки делает программа.
• Кликнуты все ссылки письма. Читатель рассылки нажимает одну-две ссылки. Сканер проходит по всем, включая отписку и ссылки в подвале, обычно быстро одну за другой.
• IP дата-центров. Запросы приходят из хостинговых и облачных сетей, а не от домашних и мобильных провайдеров.
• Странные user agent. Названия библиотек, пустые строки или одна и та же строка браузера у тысяч кликов.
• После клика ничего не происходит. Нет скролла, начатой формы и конверсии. Визит заканчивается там же, где начался.
• Пустой реферер. У ссылок из писем реферера часто нет и так, поэтому как отдельный признак он слабый. В сочетании с остальными становится полезным.
• Одинаковый тайминг у разных получателей. Сотни подписчиков одной компании «кликают» в одни и те же несколько секунд.

Открытия и клики раздуваются по разным причинам

Две разные проблемы часто путают.

Открытия накручиваются в основном функциями приватности в почтовых приложениях: они могут заранее подгружать картинки от имени читателя, и открытие фиксируется, когда никто письмо не смотрел. Из-за этого показатель открытий стал слабым сигналом.

Клики накручиваются в основном сканерами ссылок. Картинки им грузить не нужно. Они проходят по ссылкам, поэтому добавляют клики, а вместе с ними растёт кликабельность.

Практический вывод: исправить один показатель с помощью другого не получится. Если открытиям верить нельзя, а клики тоже загрязнены, нужен способ отделять в собственных данных живые клики от автоматических. Точные пропорции зависят от базы, состава компаний и сервиса, поэтому измеряйте их на своих рассылках и не берите чужие средние.

Как проверить по логу кликов

Нужен лог, где для каждого клика есть время, IP, провайдер, user agent и реферер. Это может быть лог трекера или облачной TDS, через которые идут ссылки из писем. Отчёт внутри сервиса рассылок для этой задачи обычно слишком обобщён.

1. Зафиксируйте время отправки. Возьмите момент окончания отправки кампании, а при отправке пачками момент каждой пачки.
2. Посчитайте задержку. Для каждого клика вычтите время отправки. Разложите клики по корзинам: до 10 секунд, от 10 до 60 секунд, от 1 до 10 минут, позже.
3. Посмотрите на первую корзину. Большая доля кликов в первые секунды это самая сильная подсказка. Живые читатели приходят растянуто, в течение часов.
4. Сгруппируйте по провайдеру. Сколько ранних кликов пришло с хостингов и облаков, а сколько от домашних провайдеров.
5. Проверьте клики на получателя. Если в ссылках есть ID подписчика, посчитайте, сколько разных ссылок этот ID нажал за минуту. Несколько ссылок за минуту говорят о сканере.
6. Посмотрите, что было дальше. Возьмите ранние клики с дата-центров и проверьте, дошёл ли хоть один до конверсии или другого события. Обычно не доходит ни один.

Условный пример. Вы отправили письмо на 5000 адресов, в логе 3000 кликов. Из них 1500 пришли в первые 10 секунд после отправки, 1400 из этих 1500 с IP дата-центров, и ни у одного из 1500 после клика не было событий. Остальные 1500 кликов пришли в течение двух дней с домашних и мобильных провайдеров и дали 45 конверсий. Реальное число кликов ближе к 1500 плюс несколько ранних живых, так что кликабельность примерно вдвое ниже, чем в первом отчёте.

Числа придуманы для иллюстрации. Ищите такую картину в собственном логе.

Что делать

Разделите сканеры и людей на самой ссылке

Самый чистый вариант: между ссылкой в письме и целевой страницей поставить шаг маршрутизации. Читатели идут дальше на целевую страницу. Клики, похожие на сканеры, уходят на страницу, которую вы задали, например нейтральную страницу на вашем домене. Оба вида кликов остаются в логе, поэтому видно, сколько было каждого.

В TDS.SO для фильтра можно отметить сигналы, и для этого случая важнее всего два: дата-центры и пустой реферер. Отфильтрованные клики уходят на страницу по умолчанию, которую вы задали, и остаются в логе с причиной, например datacenter. Начните только с дата-центров и понаблюдайте за логом на паре рассылок. Добавляйте другие сигналы, только если в логе видно, что сканеры проскакивают. Как работают уровни, описано на странице защиты от ботов.

Считайте их отдельно в отчётах

Клики сканеров не стоит удалять из учёта. Держите их отдельной группой. В обзоре TDS.SO клики по дням делятся на людей и ботов, а в логе можно отфильтровать ботов, так что рядом можно показать «живые клики» и «автоматические клики». Подробности на странице аналитики. Сравнивая кампании, сравнивайте живые клики с живыми.

Используйте собственный трекинговый домен

Ссылки через общий трекинговый домен сервиса рассылок трудно разбирать со своей стороны. Если ссылка в письме ведёт на домен, который вы контролируете, запросы попадают в ваш лог кликов со всеми подробностями, и к ним можно применять правила. В TDS.SO вы подключаете свой домен: направляете A-запись на свой сервер и добавляете домен в список, SSL выпускается автоматически.

Не держите действия на обычных GET-ссылках

Всё, что выполняет действие по простому GET-запросу, например отписка или подтверждение подписки, сканер сработает за читателя. Пусть такие ссылки ведут на страницу, где нужно нажать кнопку или отправить форму: сканер, который только открывает ссылку, не завершит действие вместо человека.

Что смотреть после изменений

После включения фильтра сравните следующие две-три рассылки с прежними. Общее число кликов должно упасть, живые клики остаться примерно прежними, а конверсии не снизиться. Если конверсии упали, откройте лог, посмотрите на отфильтрованные клики и причину, и ослабьте фильтр. Клики остаются в логе, поэтому проверка ничего не стоит.

Если клики, на которые вы смотрите, пришли не из почты, поможет более общий разбор признаков бот-трафика.

Частые вопросы

Почему в рассылке кликов больше, чем читателей?

Часть кликов делают программы безопасности, которые открывают каждую ссылку письма для проверки. Ваша трекинговая ссылка записывает их как любые другие, и одно письмо на защищённый ящик может дать сразу несколько таких кликов.

Как отличить клик сканера от клика человека?

Смотрите на время, сеть и то, что было дальше. Клик через секунды после отправки, с адреса дата-центра, по нескольким ссылкам одного письма и без дальнейших действий почти наверняка автоматический.

Функции приватности почты дают ложные клики?

Они в основном влияют на открытия, заранее подгружая картинки. Это отдельная проблема, не связанная со сканерами ссылок, которые влияют на клики. Обе причины говорят о том, что оценивать рассылку только по открытиям или по сырым кликам нельзя.

Нужно ли блокировать сканеры полностью?

Достаточно держать их отдельно от живых кликов, чтобы цифры были верными. Для этого хватает отправки кликов сканеров на страницу, которую вы задали, и хранения их в логе.

Это повлияет на репутацию отправителя и доставляемость?

Описанная маршрутизация срабатывает после клика, на вашей ссылке, поэтому доставку самого письма она не меняет. После смены правил отправьте пару тестовых писем на защищённые ящики и проверьте, что ссылки ведут себя как задумано.

Если ссылки из ваших писем уже идут через трекер, начните с лога кликов и настроек защиты от ботов в TDS.SO и дальше сравнивайте живые клики по кампаниям.