Posted 23 июня, 20231 yr Просмотр файла Готовый список правил для блокировки ботов по ASN хостера для Cloudflare Экслюзивная раздача для https://ipbmafia.ru/ Настройки фаервола для Cloudflare. Вы скачиваете список ASN хостеров (ASN тип - хостинг), где чаще всего запускаются боты, которые сканируют ваш сайт, создавая нагрузку. Всего 4 правила - подходит для бесплатного аккаунта на Cloudflare. Заблокировано более 1600 блоков и две страны (Украина и Китай). Блокировка не жесткая на скриншоте, возможно решение капчи, если это человек. Средствами Cloudflare можно выбрать и жесткую блокировку во время настройки правила. Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее). Заблокированы все облачные сервисы. В сутки блокируется порядка 10000-15000 уникальных запросов на один домен. Можно взять номера ASN и настроить через другие сервисы, например, через NGINX или .htaccess на вашем сервере (подробнее: https://qna.habr.com/q/1035814). Заблокированы боты поисковых систем, кроме Google-bot и Bing. Поэтому проверяйте, удаляйте, если что-то не хотите блокировать. Некоторые заблокированные ASN (если захотите их разблокировать/заблокировать): 200350 Yandex Cloud (в правилах заблокирован как вредоносный) 13238 Yandex (в правилах заблокирован как вредоносный) 208722 Yandex (в правилах заблокирован как вредоносный) 8075 MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US (в правилах не заблокирован) 15169 GOOGLE - Google Inc., US (в правилах не заблокирован) 62041 - Telegram Messenger Inc (в правилах не заблокирован) 13335 CloudFlare (в правилах заблокирован как вредоносный) 209242 CloudFlare (в правилах заблокирован как вредоносный) 202623 CloudFlare (в правилах заблокирован как вредоносный) 395747 CloudFlare (в правилах заблокирован как вредоносный) В пп. 1-5 делаем по образцу, если что-то нужно добавить. Использовать вместе с настройкой: Добавил Zero108 Добавлено 06/23/23 Категория Антиспам и безопасность Язык русский
27 сентября, 20231 yr Author Метод продолжает оставаться рабочим. Это радует. Большое количество отфильтрованных ботов и низкие значения CSR (показывает соотношение challenges solved / challenges issued). Значения за 24 ч. в таблице: Продолжаю мировую тенденцию блокировки назойливого яндекса. В последнее время по назойливости его обогнал semrush bot. Такое ощущение, что раскрыт заговор продавцов хостинга. 95-97% уникальных посетителей - боты. Чем больше внешняя нагрузка на сервер, тем больше вам не хватает ресурсов, тем дороже сервер вам продадут. Edited 27 сентября, 20231 yr by Zero108
6 октября, 20231 yr Author Метод продолжает радовать. Ниже представлена статистика за последние сутки. Левый обведенный красным столбик - соотношение между решенными и выставленными вызовами (чем меньше, тем лучше). Правый обведенный красным столбик - количество забаненных запросов (чем больше, тем лучше) = ~10k запросов забанено за сутки. Всего запросов за сутки 58.69k: Edited 6 октября, 20231 yr by Zero108
27 октября, 20231 yr В 23.06.2023 в 14:37, Zero108 сказал: Заблокирован ASN компании Yandex, так как от них больше всего запросов (боты для поисковой системы и для различных сервисов, таких, как Яндекс.Советник и прочее) Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт?
27 октября, 20231 yr 7 минут назад, tolik777 сказал: Подскажите, это означает что поисковый робот от Яндекс перестанет сканировать сайт? Да
28 октября, 20231 yr Author Полно сервисов, для которых ваш сайт - бесплатный корм: semrush (сео) babbar (сео) яндекс.советник (рекомендация лучшей цены) и прочий шлак. Не блокируя всех этих вампиров, вы даете им пищу и также помогаете вашим конкурентам. Edited 28 октября, 20231 yr by Zero108
28 октября, 20231 yr Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить (логическую цепочку) правило для iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный.
29 октября, 20231 yr Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда?
29 октября, 20231 yr 39 минут назад, tolik777 сказал: Но если страницы сайта не будут попадать в поисковый индекс, то как люди узнают о нем? Смысл тогда? У меня все попадают в поисковики
29 октября, 20231 yr 11 часов назад, aLEX49566 сказал: Вычитал, что больше 60% всего актива в сети, занимают боты. Дня три изучал этот момент и пришел в ужас, что даже такие мелкие сайты как мои, поддержаны угрозам со стороны ботов, сто говорить о крупных проектах.. Удалось составить (логическую цепочку) правило для iptables, на бан по ip и маске, которое способно обрабатывать легко более 20 тысяч ip. Заморочился я знатно. + сделал по алфавиту бан систему для nginx + в robots.txt прописал . Все работает и пока полет нормальный. вау ваш контент наверно очень дорогой
29 октября, 20231 yr Только что, dfdgfgfsd сказал: вау ваш контент наверно очень дорогой Миллион не меньше 🤣
11 февраля, 2024Feb 11 Zero108 Я правильно понял что если я хочу Яндекс позволить дальше индексировать мой форум нужно убрать из 3-го правила: 200350 13238 208722
12 февраля, 2024Feb 12 Author mistudioru в пределах нормы. До 99% посетителей - боты. Ну, и на оперативе сэкономишь, можно хостинг брать с 32 ГБ оперативы, либо меньше, если сайт не сильно посещаемый и он один на хостинге. У меня вообще сервер дома стоит, 100 Мегабит вполне хватает после отсечения ботов. Edited 12 февраля, 2024Feb 12 by Zero108
12 февраля, 2024Feb 12 Author Процент CSR у тебя великоват. Если ты ничего не добавлял в правила от себя, то это странно. Должно быть менее 1%. mistudioru
13 февраля, 2024Feb 13 Zero108 Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI.
13 февраля, 2024Feb 13 Author mistudioru верни рекаптча v3 и включи это: mistudioru введи временно активацию новых пользователей вручную администратором.
13 февраля, 2024Feb 13 Zero108 Это я сутками буду тогда сидеть и разгребать регистрации. Тоже думал над этим. Думал возможно есть более простой способ.
13 февраля, 2024Feb 13 Author Если у тебя там сотни регистраций, а не десятки, которые легко удалить, видя левые емейлы в списке пользователей, то ставь платный Clean Talk.
13 февраля, 2024Feb 13 2 часа назад, mistudioru сказал: Zero108 Ничего не менял, ботов Яндекс только добавил. Но регистрации ботов увы продолжают сильно беспокоить. В день по 5-10 регистраций проходят. Как победить уже просто не знаю.... Такео впечатление что отключили нас от капчи Гугл, а вопросы и ответы боты проходят с помощью AI. Как вариант, смотреть логи веб сервера, анализировать, с какого клиента регался бот и добавлять это в ручную в вышеуказанные правила CF
13 февраля, 2024Feb 13 Author HooLIGUN это чаще всего сервера немецкого Хетзнер и французского OVHcloud, иногда Amazon. Они все забанены. У меня нет возможности перепроверять ASN и вносить новые в настоящее время. Буду рад, если пользователи будут выкладывать свои дополнения. Edited 13 февраля, 2024Feb 13 by Zero108
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.