Готовый список правил для блокировки ботов по ASN хостера для Cloudflare

[Zero108]

Просмотр файла

Готовый список правил для блокировки ботов по ASN хостера для Cloudflare

---

Экслюзивная раздача для https://ipbmafia.ru/

Настройки фаервола для Cloudflare. Вы скачиваете список ASN хостеров (ASN тип - хостинг), где чаще всего запускаются боты, которые сканируют ваш сайт, создавая нагрузку. Всего 4 правила - подходит для бесплатного аккаунта на Cloudflare. Заблокировано более 1600 блоков и две страны (Украина и Китай). Блокировка не жесткая на скриншоте, возможно решение капчи, если это человек. Средствами Cloudflare можно выбрать и жесткую блокировку во время настройки правила. Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее). Заблокированы все облачные сервисы. В сутки блокируется порядка 10000-15000 уникальных запросов на один домен. Можно взять номера ASN и настроить через другие сервисы, например, через NGINX или .htaccess на вашем сервере (подробнее: https://qna.habr.com/q/1035814). Заблокированы боты поисковых систем, кроме Google-bot и Bing. Поэтому проверяйте, удаляйте, если что-то не хотите блокировать.

Некоторые заблокированные ASN (если захотите их разблокировать/заблокировать):

• 200350 Yandex Cloud (в правилах заблокирован как вредоносный)  
• 13238 Yandex (в правилах заблокирован как вредоносный)  
• 208722 Yandex  (в правилах заблокирован как вредоносный) 
• 8075 MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US  (в правилах не заблокирован)
• 15169 GOOGLE - Google Inc., US (в правилах не заблокирован)
• 62041 - Telegram Messenger Inc  (в правилах не заблокирован)
• 13335 CloudFlare (в правилах заблокирован как вредоносный)  
• 209242 CloudFlare (в правилах заблокирован как вредоносный)  
• 202623 CloudFlare (в правилах заблокирован как вредоносный)  
• 395747 CloudFlare (в правилах заблокирован как вредоносный)  

В пп. 1-5 делаем по образцу, если что-то нужно добавить.

Использовать вместе с настройкой:

 

---

• Добавил
  Zero108
• Добавлено
  06/23/23
• Категория
  Антиспам и безопасность
• Язык
  русский

 

[DasIst0]

Спасибо вам. Пока нет нужды, но в закладку положу 😁

[SlawkA]

это для тех кто с хитачис не дружит? и потом они будут просить обнову?

[Zero108]

Через хитачис невозможно банить по AS номерам.

[Zero108]

Метод продолжает оставаться рабочим. Это радует. Большое количество отфильтрованных ботов и низкие значения CSR (показывает соотношение challenges solved / challenges issued).

Значения за 24 ч. в таблице:

Продолжаю мировую тенденцию блокировки назойливого яндекса. В последнее время по назойливости его обогнал semrush bot.

Такое ощущение, что раскрыт заговор продавцов хостинга. 95-97% уникальных посетителей - боты. Чем больше внешняя нагрузка на сервер, тем больше вам не хватает ресурсов, тем дороже сервер вам продадут.

Изменено 27 сентября, 2023 пользователем Zero108

[Zero108]

Метод продолжает радовать. Ниже представлена статистика за последние сутки. Левый обведенный красным столбик - соотношение между решенными и выставленными вызовами (чем меньше, тем лучше). Правый обведенный красным столбик - количество забаненных запросов (чем больше, тем лучше) = ~10k запросов забанено за сутки. 

Всего запросов за сутки 58.69k:

 

 

Изменено 6 октября, 2023 пользователем Zero108

[tolik777]

В 23.06.2023 в 14:37, Zero108 сказал:

Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее)

Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт?

[HooLIGUN]

7 минут назад, tolik777 сказал:

Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт?

Да

[Zero108]

Полно сервисов, для которых ваш сайт - бесплатный корм:

• semrush (сео)
• babbar (сео)
• яндекс.советник (рекомендация лучшей цены)
• и прочий шлак.

Не блокируя всех этих вампиров, вы даете им пищу и также помогаете вашим конкурентам.
 

 

 

Изменено 28 октября, 2023 пользователем Zero108

[aLEX49566]

Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить  (логическую цепочку) правило для  iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный.

[tolik777]

Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда?

[aLEX49566]

39 минут назад, tolik777 сказал:

Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда?

У меня все попадают в поисковики 

[dfdgfgfsd]

11 часов назад, aLEX49566 сказал:

Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить  (логическую цепочку) правило для  iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный.

вау ваш контент наверно очень дорогой

[aLEX49566]

Только что, dfdgfgfsd сказал:

вау ваш контент наверно очень дорогой

Миллион не меньше 🤣

[mistudioru]

Zero108 Я правильно понял что если я хочу Яндекс позволить дальше индексировать мой форум нужно убрать из 3-го правила: 200350 13238 208722

[Zero108]

Правильно.

[mistudioru]

Zero108 Испытываю на одном из моих форумов. Картина вот такая:

[Zero108]

mistudioru в пределах нормы. До 99% посетителей - боты. Ну, и на оперативе сэкономишь, можно хостинг брать с 32 ГБ оперативы, либо меньше, если сайт не сильно посещаемый и он один на хостинге. У меня вообще сервер дома стоит, 100 Мегабит вполне хватает после отсечения ботов.

Изменено 12 февраля пользователем Zero108

[Zero108]

Процент CSR у тебя великоват. Если ты ничего не добавлял в правила от себя, то это странно. Должно быть менее 1%.

mistudioru 

[mistudioru]

Zero108  Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.

[Zero108]

mistudioru верни рекаптча v3 и включи это: 

mistudioru введи временно активацию новых пользователей вручную администратором.

[mistudioru]

Zero108 Это я сутками буду тогда сидеть и разгребать регистрации. Тоже думал над этим. Думал возможно есть более простой способ.

[Zero108]

Если у тебя там сотни регистраций, а не десятки, которые легко удалить, видя левые емейлы в списке пользователей, то ставь платный Clean Talk.

[HooLIGUN]

2 часа назад, mistudioru сказал:

Zero108  Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.

Как вариант, смотреть логи веб сервера, анализировать, с какого клиента регался бот и добавлять это в ручную в вышеуказанные правила CF

[Zero108]

HooLIGUN это чаще всего сервера немецкого Хетзнер и французского OVHcloud, иногда Amazon. Они все забанены. У меня нет возможности перепроверять ASN и вносить новые в настоящее время. Буду рад, если пользователи будут выкладывать свои дополнения.

Изменено 13 февраля пользователем Zero108