Боты нелёгкого поведения

Приветствую вас, дорогие читатели! Меня зовут Андрей Степанов, я руководитель отдела SEO-продвижения Idea Promotion. За 10 лет работы в сфере SEO мне приходилось сталкиваться с сотнями самых разных проблем, способных помешать сайту попасть в топ Яндекса или Google. Одна из таких проблем — накрутка негативных поведенческих факторов. В этой статье я расскажу о том, что это такое, из-за чего возникает, чем грозит сайту и, главное, как с этим бороться.

Суть проблемы

Поведенческие факторы (ПФ) — ряд показателей, которые в комплексе характеризуют поведение пользователей на сайте. Именно на их основе поисковые системы оценивают качество ресурса. И если ПФ недостаточно хороши, в топ сайту, скорее всего, не попасть.

Чаще всего накрутка выглядит так: ни с того ни с сего «обрушивается» метрика поведенческих факторов сайта. При детальном рассмотрении выясняется, что это не связано с объективными причинами. Зато обнаруживается другое:
•    появляется стремительно растущий трафик с подозрительных IP;
•    параллельно с этим уменьшается среднее время пользователя на сайте и глубина просмотров;
•    пользовательская активность на сайте перестает зависеть от времени.

Поисковые системы расценивают происходящее как объективное ухудшение качества сайта. И это им, естественно, не нравится. Кроме того, из-за резкого «скачка» трафика увеличивается нагрузка на сервер, что тоже неприятно.

Личный опыт

Впервые с негативной накруткой ПФ я столкнулся сравнительно недавно — в начале 2021 года. Причем, можно сказать, у себя дома — на сайте нашего агентства (Idea-promotion.ru). Трафик на сайт неожиданно и очень стремительно взлетел — при том, что в тот момент мы не проводили никаких активностей. Почти сразу эта же проблема была выявлена на сайтах нескольких наших клиентов, работающих в совершенно разных сферах.

Как мы боролись с накруткой?

«Отсечь» вредоносных ботов помог сервис Cloudflare. Для решения проблемы потребовалось:
•    зайти через аккаунт Cloudflare в раздел Firewall;
•    перейти в подраздел «Правила» (rules), затем — в «создание правил» (Create a Firewall rules);
•    настроить несколько правил, согласно которым пользователям будет предоставляться доступ на сайт, включая показ капчи «подозрительным» посетителям (JS Challenge) и запрет на IPv6.

Уточню, Cloudflare — сервис, предназначенный в первую очередь для борьбы с DDoS-атаками. Поэтому настраивать правила для блокировки ботов, которые имитируют поведение реальных пользователей, приходится вручную.

И ещё: использовать Cloudflare нужно очень аккуратно — сервис влияет на работу сайта в целом, и «побочные эффекты» от его применения могут навредить сайту сильнее ботов.

Результат

К счастью, ни один из наших клиентов, сайты которых попали «под удар», не успел серьёзно пострадать — поисковые системы (честь им и хвала!) на этот раз не поспешили с наказанием за накрутку. Однако в перспективе активность ботов могла бы привести к серьёзным проблемам с продвижением.

Хотя мы и столкнулись с проблемой впервые, у нашей команды оказалось достаточно компетенций, чтобы быстро взять ситуацию под контроль и не допустить её усугубления. Поэтому владельцам атакованных сайтов (и оптимизаторам, которые их продвигают) не о чем беспокоиться — теперь мы знаем, как бороться с негативной накруткой.

idea-promotion.ru
idea_promotion
ideapromotiongroup