Готовый список правил для блокировки ботов по ASN хостера для Cloudflare

[Desti]

6 часов назад, mistudioru сказал:

Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.

Давно уже есть сервисы, сидят живые люди на домашних сетках и за копеечку небольшую регятся на сайтах. 

[aLEX49566]

4 часа назад, Zero108 сказал:

Amazon

Я с этим говном три дня бился. Не говори про него вслух 

Изменено 13 февраля пользователем aLEX49566

[HooLIGUN]

21 час назад, Zero108 сказал:

HooLIGUN У меня нет возможности перепроверять ASN и вносить новые в настоящее время. Буду рад, если пользователи будут выкладывать свои дополнения.

Это я для mistudioru писал

[mistudioru]

Desti 5-е правило глушит роботов Яндекс. Вэбмастер ругается вот так. Как исправить?

 

[Zero108]

mistudioru 

Правило 5 (яндекс не забанен)

(lower(http.user_agent) contains "bot" and not lower(http.user_agent) contains "google" and not lower(http.user_agent) contains "bing" and not lower(http.user_agent) contains "vkrobot" and not lower(http.user_agent) contains "linkedin" and not lower(http.user_agent) contains "twitter" and not lower(http.user_agent) contains "telegram" and not lower(http.user_agent) contains "yandex") or (lower(http.user_agent) contains "spider") or (lower(http.user_agent) contains "robot" and not lower(http.user_agent) contains "vkrobot") or (lower(http.user_agent) contains "search" and not lower(http.user_agent) contains "google") or (lower(http.user_agent) contains "download") or (lower(http.user_agent) contains "Owler") or (lower(http.user_agent) contains "crawler")

 

[mistudioru]

Zero108 Когда вы дописали это правило? Просто качал из архива, сайты все пропали из индекса Яндекс, проверка в вэмастере показала что нет отклика у сайта, выключил правило 5 и отклик появился.

[mistudioru]

@Zero108 Качал вот этот файл: 

 

Изменено 14 февраля пользователем mistudioru

[Zero108]

1 час назад, mistudioru сказал:

Когда вы дописали это правило?

Оно у меня как черновик. Добавлю его в следующем обновлении.

[mistudioru]

Zero108 Так может и другие правила в этом черновике тоже давно были дополнены (изменены), и я имею не полный список правил? Где актуальную версию скачать то?

[Zero108]

mistudioru выкладываю то, что есть, только здесь. Это не коммерческая разработка, поэтому буду рад, если кто-то поможет с дополнением правил. Сейчас постепенно работаю над дополнениями. Возможно, скоро выложу.

[mistudioru]

Zero108 Я это понимаю. Я правильно понял что то что есть в архиве и тут, имеет отличие только в 5-м правиле которое я нашел. Вы главно не забывайте про нужных ботов. А то из-за пятого правила у меня вылетели все страницы из индекса Яндекс, и как следствие - 3 000 руб по контексту я получу 🙂 Благо вэбмастер просматриваю периодически.

Изменено 15 февраля пользователем mistudioru

[Zero108]

1 час назад, mistudioru сказал:

Я это понимаю. Я правильно понял что то что есть в архиве и тут, имеет отличие только в 5-м правиле которое я нашел.

Пока что да. В целом, нужно внимательно читать описание, а также описание того, что нового в каждой версии. 

[Zero108]

Обновлено.

Что нового в версии 3.0.0

Окончательно забанен CloudFlare, через прокси которого было много спама через спамилки (правило № 3). Забанены новые хостинги (правило № 3). Добавлено разделение правил на "яндекс забанен" и "яндекс не забанен" (правила №№ 3 и 5). Всего забанено несколько миллионов новых IP.

 

Изменено 15 февраля пользователем Zero108

[Zero108]

Также хотел предупредить, что метод Managed Challenge работает не совсем корректно. Я не мог попасть со своего сартфона на свой сайт. Поэтому используйте ограничения на CloudFlare только в крайнем случае. Например, блокировку по странам (правило 4) лучше вообще не применять.

[GeekMonster]

@Zero108 есть ли в списке блогов semrush, ahreftools и боты?

[Zero108]

GeekMonster правило 5 должно работать с ботами.

[Zero108]

GeekMonster также рекомендую использовать совместно с этим:

 

[mistudioru]

Zero108 А для CloudFlare есть эти правила?

[Zero108]

mistudioru не помещается по длине в бесплатном аккаунте CF. А в платном можно настраивать по списку ботов без этих правил, насколько я знаю.