Признаки бот-трафика: как понять, что в трафике боты

Открываете отчёт: 4000 кликов, нормальный CTR и почти ни одной конверсии. Прежде чем ругать оффер или креатив, проверьте, кто на самом деле кликал. В любом трафике, платном и бесплатном, есть автоматические переходы, и узнать их долю можно только по логу кликов.

Ниже девять признаков бот-трафика, которые видны в логе и в обычной таблице. К каждому дано, как он выглядит в данных и как его проверить. В конце пример расчёта, во сколько ботам обходятся ваши деньги, и разумный порядок включения фильтра.

Откуда в статистике берутся боты

Источников несколько. Есть парсеры и мониторинги, которые ходят по любым найденным ссылкам. Есть защитные сканеры, которые открывают ссылки для проверки. Есть скрипты и фермы кликов, цель которых сжечь бюджет или нарисовать аудиторию. И есть живые люди за VPN и корпоративными прокси, которые выглядят странно, но к ботам не относятся.

Какой бы ни был источник, последствие одно. Вы платите за клик, он попадает в статистику как посетитель, а конверсия, EPC и ROI выглядят хуже, чем есть на самом деле. Если решения принимаются по таким цифрам, можно отключить хороший источник только потому, что боты утянули его показатели вниз.

Признаки ниже идут примерно от простых в проверке к сложным. Откройте лог кликов в трекере (или выгрузите его в таблицу) и пройдитесь по списку.

Девять признаков бот-трафика

1. Клики без конверсий от одного провайдера, ASN или дата-центра

Как выглядит в логе. Вы сортируете клики по провайдеру и видите одно название с сотнями кликов и ни одной конверсией, а у остальных провайдеров конверсия нормальная. Домашние провайдеры, через которых выходят обычные люди, выглядят иначе, чем хостинги и облачные сети.

Как проверить. Сгруппируйте клики по провайдеру или ASN, посчитайте клики и конверсии в каждой группе. Подозрительна только достаточно большая группа: десять кликов без конверсий ничего не говорят, триста уже говорят. Если провайдер это хостинг или облако, живые посетители оттуда маловероятны.

2. Всплески доли VPN или прокси

Как выглядит. Доля кликов с пометкой VPN, прокси или Tor большую часть дней стабильна, а потом скачет в один день или в одной кампании. У живой аудитории доля VPN-пользователей довольно ровная. Резкий скачок чаще всего означает скрипт, который ходит через прокси.

Как проверить. Постройте график доли VPN/прокси по дням и по источникам. Сравните день всплеска с предыдущими. Если скачок идёт из одного источника или плейса, посмотрите конверсии этого среза. Учтите, что в некоторых странах и у некоторых аудиторий VPN используют часто, поэтому сравнивайте источник с его же историей, а не с чужой аудиторией.

3. Одинаковые user agent или неизвестные браузеры

Как выглядит. Тысячи кликов с одной и той же строкой user agent вплоть до минорной версии. Или в логе заметная доля кликов с «неизвестный браузер» и «неизвестная платформа». У живого трафика устройства и версии разные.

Как проверить. Сгруппируйте по user agent, а также по браузеру и платформе, отсортируйте по числу кликов. Одна строка с неестественно большой долей или старая версия, которой уже никто не пользуется, заслуживают внимания. Скрипты часто забывают притворяться актуальным браузером.

4. Пустой реферер там, где он должен быть

Как выглядит. Если вы покупаете трафик у источника, который обычно передаёт реферер, а у большой части кликов его нет, что-то не так. Прямые заходы и некоторые настройки приватности тоже дают пустой реферер, так что признак имеет смысл только относительно нормы вашего источника.

Как проверить. Разделите клики по каждому источнику на «реферер есть» и «реферера нет», сравните конверсию обеих групп. Если пустая группа большая и никогда не конвертится, её стоит выделить.

5. Пустая страна или город

Как выглядит. Строки, где поле страны или города пустое. Гео-базы знают почти все адреса, которыми пользуются обычные люди, а пробелы чаще встречаются у необычных и служебных диапазонов.

Как проверить. Отфильтруйте лог по пустой стране, затем по пустому городу. Посчитайте клики и посмотрите, что делают те же IP в остальной части лога. Небольшая доля это обычный шум. Заметная доля, после которой нет никакой активности, это повод насторожиться.

6. Всплески IPv6

Как выглядит. Мобильные сети действительно отдают IPv6, поэтому сам по себе IPv6 ничего не доказывает. Выделяется всплеск: много кликов за короткое окно с IPv6-адресов из одного диапазона в стране, где ваша аудитория обычно ходит по IPv4.

Как проверить. Постройте долю IPv4 и IPv6 по часам. Сравните конверсию IPv6-кликов с IPv4-кликами из той же страны и с того же типа устройств. Если разницы нет, не трогайте. Если поведение сильно различается, считайте всплеск сигналом и сочетайте с другими.

7. Клики через странные интервалы и ночные пики

Как выглядит. Клики приходят через идеально ровные промежутки или волной в три часа ночи по местному времени аудитории, на которую вы настроили показ. Люди кликают неравномерно и живут по суточному ритму.

Как проверить. Посмотрите клики по минутам или часам относительно местного времени таргетируемой страны. Читайте время в том же часовом поясе, что и ваша статистика. Ровная полка в странный час или жёсткий ритм вроде «один клик каждые несколько секунд» требуют разбора.

8. Много кликов с одного IP

Как выглядит. Один IP встречается десятки раз за короткое время на одной ссылке, поведение не меняется. Бывают и честные случаи: офис или мобильный оператор с общими адресами, поэтому смотрите, как клики распределены по времени.

Как проверить. Сгруппируйте по IP и отсортируйте по числу кликов. Возьмите первую десятку и разберите по одному: провайдер, устройство, реферер, интервалы между кликами. Один адрес, который кликает много раз подряд с одинаковым устройством, скорее всего скрипт, а не семья.

9. CTR сильно выше нормы без вовлечённости

Как выглядит. Плейс с долей кликов в несколько раз выше всех остальных ваших, а время на лендинге, глубина скролла, начатые формы и конверсии остаются на нуле. Хороший креатив повышает и клики, и результат. Боты поднимают только клики.

Как проверить. Поставьте рядом с кликами нижестоящую метрику (лид, регистрация, депозит, любое событие, которое вы отслеживаете) по каждому плейсу или sub-ID. Ищите плейсы, где первая цифра выросла, а вторая нет.

Сначала сложите признаки, потом действуйте

У каждого признака есть невинные объяснения. VPN-пользователи существуют, корпоративные сети делят IP, настройки приватности режут реферер. Вы ищете пересечение: срез трафика, который, например, идёт с хостинга, без реферера, с необычным user agent и без конверсий. Чем больше сигналов совпало, тем безопаснее считать этот срез автоматическим.

Цифры в таблице условные, а логика рабочая. Фильтруйте срезы с несколькими признаками и нулевым результатом. Срезы с одним безобидным признаком, которые всё равно конвертятся, не трогайте.

Сколько стоят вам боты

Допустим, вы купили 10 000 кликов по $0,10 и потратили $1000. Оффер платит $20 за конверсию. На чистом трафике вы ждёте 1% конверсии, то есть 100 конверсий и $2000 дохода.

Теперь пусть 2000 из этих кликов боты (число условное). Оставшиеся 8000 живых кликов по-прежнему конвертятся на 1%, и вы получаете 80 конверсий и $1600. А в статистике 10 000 кликов и 80 конверсий, то есть 0,8%. За 2000 кликов, которые не могли сконвертиться, вы заплатили $200 впустую.

Основной вред приходит позже. Если принять 0,8% за истинную конверсию, можно остановить источник, который на деле даёт 1%, или занизить ставку на плейсы, где реально приходят люди. Прямые потери это $200. Потери от решений на кривых данных могут быть больше, и увидеть их сложнее.

Чтобы оценить свою цифру, возьмите клики срезов, которые вы отметили подозрительными, умножьте на стоимость клика и сравните с доходом, который эти срезы принесли. В трекере TDS.SO (он сейчас в бете) доход это апрувнутые конверсии, а расход это все клики, поэтому клики ботов видны как расход без дохода.

Что с этим делать

1. Сначала прочитайте лог. Пройдите девять признаков на данных за неделю и выпишите, какие срезы выглядят неправильно.
2. Начните с мягкого уровня фильтра. Стандартный уровень ловит очевидное. Строгий ловит больше, но чаще останавливает и живых людей, поэтому поднимайтесь на одну ступень за раз.
3. Смотрите лог после каждого изменения. Отфильтрованные клики остаются в логе с причиной (vpn, datacenter, suspicious_headers и так далее), так что видно, что именно остановлено, и решение можно отменить, если среди них окажутся покупатели.
4. Отправляйте отфильтрованное на страницу, которую вы задали. До оффера эти клики не доходят, и вы не тратите на скрипт показ оффера.
5. Перепроверьте конверсии. Через неделю сравните конверсию и EPC до и после. Если они выросли, а число конверсий не упало, фильтр сработал.

В TDS.SO есть уровни фильтра: Выкл, Стандарт, Высокий, JavaScript (проверка браузера) и Свой. В «Своём» вы отмечаете нужные сигналы: неизвестная платформа, неизвестный браузер, пустая страна, пустой город, IPv6, дата-центры, VPN и пустой реферер. Есть также настройка «считать первые N кликов ботами» и карантин на N минут после первого обнаруженного бота. Подробности на страницах защиты от ботов и фильтрации трафика.

Если выбираете между проверкой браузера и блокировкой по адресу, прочитайте JS-отпечаток и блокировка по IP. А если проблема с кликами внутри email-рассылки, у неё свои признаки, они разобраны в тексте боты в email-рассылках.

Частые вопросы

Как понять, что в трафике боты, а не люди?

По одному клику обычно нельзя. Можно оценить группу кликов: сравните её поведение (конверсии, время на странице, тайминг) с остальным трафиком и ищите сразу несколько признаков.

Какая доля трафика обычно приходится на ботов?

Она зависит от источника, гео и формата, и честной универсальной цифры нет. Измерьте свою: пометьте подозрительные срезы в логе и поделите на общее число кликов.

Фильтр ботов не заблокирует настоящих клиентов?

Строгий может. Поэтому начинают с мягкого уровня, держат отфильтрованные клики в логе с причиной и проверяют, не превращались ли остановленные клики в конверсии где-то ещё.

Трафик с VPN это всегда боты?

Нет. Многие обычные пользователи сидят за VPN. Считайте VPN одним из сигналов и сочетайте с другими либо фильтруйте только там, где он явно совпадает с нулевыми конверсиями.

Нужен ли трекер, чтобы найти ботов?

Нужен лог кликов, где для каждого клика записаны провайдер, страна, устройство, реферер и время. Подойдёт любой трекер или облачная TDS, которые хранят эти поля.

Чтобы применить это к своему трафику, откройте защиту от ботов в TDS.SO: там задаётся уровень, видны все отфильтрованные клики с причиной, а сами они уходят на страницу по умолчанию.