Просмотр файла

Готовый список правил для блокировки ботов по ASN хостера для Cloudflare

---

Экслюзивная раздача для https://ipbmafia.ru/

Настройки фаервола для Cloudflare. Вы скачиваете список ASN хостеров (ASN тип - хостинг), где чаще всего запускаются боты, которые сканируют ваш сайт, создавая нагрузку. Всего 4 правила - подходит для бесплатного аккаунта на Cloudflare. Заблокировано более 1600 блоков и две страны (Украина и Китай). Блокировка не жесткая на скриншоте, возможно решение капчи, если это человек. Средствами Cloudflare можно выбрать и жесткую блокировку во время настройки правила. Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее). Заблокированы все облачные сервисы. В сутки блокируется порядка 10000-15000 уникальных запросов на один домен. Можно взять номера ASN и настроить через другие сервисы, например, через NGINX или .htaccess на вашем сервере (подробнее: https://qna.habr.com/q/1035814). Заблокированы боты поисковых систем, кроме Google-bot и Bing. Поэтому проверяйте, удаляйте, если что-то не хотите блокировать.

Некоторые заблокированные ASN (если захотите их разблокировать/заблокировать):

• 200350 Yandex Cloud (в правилах заблокирован как вредоносный)  
• 13238 Yandex (в правилах заблокирован как вредоносный)  
• 208722 Yandex  (в правилах заблокирован как вредоносный) 
• 8075 MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US  (в правилах не заблокирован)
• 15169 GOOGLE - Google Inc., US (в правилах не заблокирован)
• 62041 - Telegram Messenger Inc  (в правилах не заблокирован)
• 13335 CloudFlare (в правилах заблокирован как вредоносный)  
• 209242 CloudFlare (в правилах заблокирован как вредоносный)  
• 202623 CloudFlare (в правилах заблокирован как вредоносный)  
• 395747 CloudFlare (в правилах заблокирован как вредоносный)  

В пп. 1-5 делаем по образцу, если что-то нужно добавить.

Использовать вместе с настройкой:

 

---

• Добавил
  Zero108
• Добавлено
  06/23/23
• Категория
  Антиспам и безопасность
• Язык
  русский

 

Спасибо вам. Пока нет нужды, но в закладку положу 😁

это для тех кто с хитачис не дружит? и потом они будут просить обнову?

Через хитачис невозможно банить по AS номерам.

Метод продолжает оставаться рабочим. Это радует. Большое количество отфильтрованных ботов и низкие значения CSR (показывает соотношение challenges solved / challenges issued).

Значения за 24 ч. в таблице:

Продолжаю мировую тенденцию блокировки назойливого яндекса. В последнее время по назойливости его обогнал semrush bot.

Такое ощущение, что раскрыт заговор продавцов хостинга. 95-97% уникальных посетителей - боты. Чем больше внешняя нагрузка на сервер, тем больше вам не хватает ресурсов, тем дороже сервер вам продадут.

Edited 27 сентября, 20231 yr by Zero108

Метод продолжает радовать. Ниже представлена статистика за последние сутки. Левый обведенный красным столбик - соотношение между решенными и выставленными вызовами (чем меньше, тем лучше). Правый обведенный красным столбик - количество забаненных запросов (чем больше, тем лучше) = ~10k запросов забанено за сутки. 

Всего запросов за сутки 58.69k:

 

 

Edited 6 октября, 20231 yr by Zero108

В 23.06.2023 в 14:37, Zero108 сказал:

Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее)

Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт?

7 минут назад, tolik777 сказал:

Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт?

Да

Полно сервисов, для которых ваш сайт - бесплатный корм:

• semrush (сео)
• babbar (сео)
• яндекс.советник (рекомендация лучшей цены)
• и прочий шлак.

Не блокируя всех этих вампиров, вы даете им пищу и также помогаете вашим конкурентам.
 

 

 

Edited 28 октября, 2023Oct 28 by Zero108

Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить  (логическую цепочку) правило для  iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный.

Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда?

39 минут назад, tolik777 сказал:

Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда?

У меня все попадают в поисковики 

11 часов назад, aLEX49566 сказал:

Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить  (логическую цепочку) правило для  iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный.

вау ваш контент наверно очень дорогой

Только что, dfdgfgfsd сказал:

вау ваш контент наверно очень дорогой

Миллион не меньше 🤣

Zero108 Я правильно понял что если я хочу Яндекс позволить дальше индексировать мой форум нужно убрать из 3-го правила: 200350 13238 208722

Правильно.

Zero108 Испытываю на одном из моих форумов. Картина вот такая:

mistudioru в пределах нормы. До 99% посетителей - боты. Ну, и на оперативе сэкономишь, можно хостинг брать с 32 ГБ оперативы, либо меньше, если сайт не сильно посещаемый и он один на хостинге. У меня вообще сервер дома стоит, 100 Мегабит вполне хватает после отсечения ботов.

Edited 12 февраляFeb 12 by Zero108

Процент CSR у тебя великоват. Если ты ничего не добавлял в правила от себя, то это странно. Должно быть менее 1%.

mistudioru 

Zero108  Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.

mistudioru верни рекаптча v3 и включи это: 

mistudioru введи временно активацию новых пользователей вручную администратором.

Zero108 Это я сутками буду тогда сидеть и разгребать регистрации. Тоже думал над этим. Думал возможно есть более простой способ.

Если у тебя там сотни регистраций, а не десятки, которые легко удалить, видя левые емейлы в списке пользователей, то ставь платный Clean Talk.

2 часа назад, mistudioru сказал:

Zero108  Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.

Как вариант, смотреть логи веб сервера, анализировать, с какого клиента регался бот и добавлять это в ручную в вышеуказанные правила CF

HooLIGUN это чаще всего сервера немецкого Хетзнер и французского OVHcloud, иногда Amazon. Они все забанены. У меня нет возможности перепроверять ASN и вносить новые в настоящее время. Буду рад, если пользователи будут выкладывать свои дополнения.

Edited 13 февраляFeb 13 by Zero108