Рано или поздно вы открываете лог кликов, сортируете по типу IP и видите пачку адресов дата-центров и VPN. Первая мысль: поставить все галочки в фильтре и забыть. Для одной из этих групп так делать разумно, для другой дорого.
Трафик с дата-центров почти всегда автоматика, поэтому фильтровать его обычно безопасно. Трафик с VPN и прокси смешанный: часть это скрипты, а часть живые люди, которые заботятся о приватности, сидят за корпоративным шлюзом или живут в стране, где VPN включён почти у всех. Если закрыть всё подряд, можно потерять реальные конверсии, и узнать об этом получится только по цифрам.
IP дата-центров фильтруйте по умолчанию. VPN и прокси считайте сегментом, который надо проверить: пропустите его на несколько дней, залогируйте и сравните конверсию по сегментам, прежде чем решать. Все отфильтрованные клики остаются в логе с причиной, так что решение опирается на ваши данные, а не на чужое правило.
Три группы, которые путают
Когда говорят «VPN-трафик», обычно имеют в виду минимум три разные вещи. Ведут они себя по-разному, и именно из-за смешивания универсальные правила так часто ошибаются.
- IP дата-центров. Адреса хостинг-провайдеров и облачных платформ. Живой человек не сидит в браузере из серверной стойки. Визиты с этих диапазонов дают скрипты, парсеры, проверщики ссылок, мониторинги и иногда краулеры.
- Потребительские VPN и прокси. Коммерческие VPN-приложения, расширения браузера, приватные релеи. Многие их выходные узлы тоже стоят в диапазонах дата-центров, но за подключением сидит человек с телефоном или ноутбуком.
- Корпоративные и институциональные сети. Офисный шлюз, университетская сеть или мобильный оператор, который прячет тысячи пользователей за несколькими адресами. В базах такие адреса могут помечаться как прокси, а посетители за ними самые обычные.
Отдельный случай это Tor. Он вынесен в обзоре и в логе кликов отдельным признаком, и решение по нему тоже принимается отдельно. Логика ниже подходит и для него.
Дата-центры: фильтруйте
Если IP принадлежит хостинг-провайдеру, шанс, что за ним сидит покупатель, невелик. Клики с таких диапазонов чаще всего приходят от инструментов, которые переходят по ссылкам для проверки, от парсеров, собирающих объявления и лендинги, и от автотестов. На платных источниках они съедают бюджет, на остальных раздувают число кликов.
Есть одно честное исключение. Если вы сами проверяете ссылки с сервера, например скриптом мониторинга, эти визиты тоже приходят из дата-центра. Тестируйте с обычного подключения или не забывайте вычитать свои проверки при чтении лога.
Всё остальное с дата-центров можно отправлять на страницу, которую вы задали. Задача в том, чтобы защитить бюджет и держать статистику чистой, а не в том, чтобы поймать каждый последний визит.
VPN и прокси: сначала измерьте
Довод против блокировки всего VPN-трафика простой. Часть ваших посетителей использует VPN, и часть из них покупает. Размер этой доли зависит от гео, вертикали и источника, и я бы не стал верить чьим-то средним цифрам, в том числе моим. В некоторых странах VPN на телефонах включён по умолчанию. В некоторых корпоративных сетях все сотрудники выходят через один прокси.
Довод за блокировку тоже настоящий. В некоторых источниках VPN-сегмент забит скриптовыми кликами, которые прыгают по выходным узлам и изображают разных людей. Если у вас именно так, блокировка ничего не стоит.
Снаружи не понять, какой случай ваш. Это видно в логе. Как проверить, ниже.
Как проверить сегмент по своему логу
Идея: пропустить сомнительный сегмент, пометить его и посмотреть, конвертируется ли он. Нужны несколько дней трафика и способ привязывать конверсии к кликам, то есть click ID и постбэк (см. click ID и subid простыми словами).
- Выключите признак VPN на время теста. Признак дата-центров оставьте. Гоните обычный трафик несколько дней, чтобы VPN-сегмент доходил до оффера.
- Отфильтруйте лог кликов по VPN. В логе есть фильтры по ботам, уникальным кликам, VPN и Tor, так что сегмент достаётся за пару нажатий.
- Посчитайте клики и конверсии в сегменте. То же самое сделайте для остального трафика с того же источника и гео.
- Сравните конверсию и стоимость конверсии. Если VPN-сегмент конвертируется примерно как остальные, блокировка выбрасывает платящих. Если на приличном числе кликов результат около нуля, блокируйте.
- Посмотрите соседние признаки качества. Реферер, устройства, время между кликом и просмотром лендинга. Сегмент с пустыми реферерами и одной моделью устройства это одна история, а с нормальным набором телефонов совсем другая.
Пример с условными числами
Допустим, вы купили 10 000 кликов по $0,05 с одного источника в одной стране. В логе 800 из них помечены как VPN или прокси. Остальные 9 200 обычные.
| Сегмент | Клики | Расход | Конверсии | Цена конверсии |
|---|---|---|---|---|
| Обычный | 9 200 | $460 | 46 | $10,00 |
| VPN / прокси | 800 | $40 | 4 | $10,00 |
Здесь VPN-сегмент конвертируется как все, и блокировка потеряла бы четыре конверсии из пятидесяти. Теперь замените вторую строку на 800 кликов и 0 конверсий. Расход тот же, результата нет, со следующей партии сегмент стоит закрыть. Числа выдуманные, важно именно сравнение.
Размер выборки имеет значение. Четыре конверсии слабый сигнал в любую сторону. Если сегмент небольшой, подождите, пока результат перестанет скакать день ото дня.
Другие признаки рядом с VPN
VPN и дата-центры это две галочки из нескольких. В фильтре можно также отметить неизвестную платформу, неизвестный браузер, пустую страну, пустой город, IPv6 и пустой реферер. У каждой есть похожий компромисс, и ни одна по отдельности не приговор.
- Пустой реферер. Многие реальные посетители приходят без него: браузеры внутри приложений, настройки приватности, сокращатели ссылок. Это слабый признак, сочетайте его с другими, прежде чем блокировать.
- IPv6. Заметная и растущая доля живого мобильного трафика идёт по нему. Закрывать его вслепую редко стоит. Как диагностика он полезен: если один источник шлёт только IPv6 из необычных диапазонов, на это надо посмотреть.
- Пустая страна или город. У гео-базы нет ответа для адреса. Реальные люди тоже попадают сюда, но большая доля пустых значений от одного источника повод разобраться.
- Неизвестная платформа или браузер. Скрипты часто шлют странный или пустой user agent. Настоящие устройства почти всегда представляются.
Уровни фильтра (Выкл, Стандарт, Высокий, JavaScript с проверкой браузера и Свой) нужны, чтобы начать мягко и затягивать постепенно. В режиме «Свой» признаки выбираются по одному, и это тот режим, в котором удобно ставить эксперимент выше: дата-центры включены, VPN выключен, потом сравнение. Почему одних IP-признаков мало, разобрано в статье JS-отпечаток против блокировки по IP.
Настройка, в которой можно передумать
Что бы вы ни решили, сделайте решение обратимым. Помогают две вещи.
- Страница для отфильтрованных кликов. Отфильтрованные посетители уходят на страницу, которую вы задали. Выберите нейтральную страницу под вашим контролем, чтобы ошибочная блокировка не вела на экран с ошибкой.
- Причина остаётся в логе. Отфильтрованные клики всё равно пишутся в лог с причиной, например vpn, datacenter или suspicious_headers. Это и делает возможным пересмотр: открываете лог, фильтруете по причине и видите, кого именно отправили в сторону.
Для начала потока есть и более мягкие инструменты. Можно считать ботами первые N кликов, а карантин после первого бота удерживает подозрительные источники на заданное число минут. Эти настройки про время и всплески, а не про тип IP, так что используйте их вместе с признаками, а не вместо них.
Дата-центры включены с первого дня. VPN выключен на первое окно теста. Набрали достаточно кликов, сравнили конверсию по сегментам, решили отдельно по источнику и по гео. Проверяйте заново при смене источника, потому что у нового источника другой состав.
Частые вопросы
Надо ли блокировать весь VPN-трафик?
По умолчанию нет. Часть VPN-посетителей реальные покупатели. Пропустите сегмент через воронку на время теста, сравните конверсию с остальным трафиком и блокируйте, только если он заметно хуже. Ответ может отличаться по источнику и гео.
Трафик с дата-центров всегда боты?
Почти всегда, потому что люди не сидят в браузере с хостинговых диапазонов. Исключения это ваши собственные инструменты и редкие пользователи удалённого рабочего стола на облачной машине. Для платного трафика фильтрация безопасный выбор по умолчанию.
Почему настоящие пользователи выглядят как прокси?
Корпоративные шлюзы, университетские сети и мобильные операторы прячут многих людей за общими адресами, и базы могут помечать такие диапазоны как прокси. Это ещё одна причина проверять сегмент до того, как его закрывать.
Что происходит с отфильтрованным кликом?
Посетитель попадает на страницу, которую вы задали, а клик пишется в лог с причиной. Лог можно фильтровать по VPN, ботам, уникальным кликам или Tor и пересматривать решения позже.
Защищает ли фильтр VPN-трафика мои формы?
Фильтр работает с кликами по вашей ссылке. Формы и другие страницы сайта он не защищает. Для них нужны свои меры, например CAPTCHA или ограничение частоты отправки.
Чтобы попробовать на своём трафике, на странице фильтрации ботов перечислены признаки и уровни фильтра, а фильтрация трафика описывает, куда уходят отфильтрованные клики и как они логируются.
Гайды и разборы о маршрутизации, фильтрации ботов и трекинге от команды TDS.SO.
Все статьи автора