2 августа, 2025Aug 2 Список плохих ботов для robots.txtСписок регулярно обновляется: https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt
2 августа, 2025Aug 2 11 часов назад, aLEX49566 said:В nginx по алфавиту и все680 ботов в nginx, мне кажется производительность ты не любишь)
2 августа, 2025Aug 2 1 минуту назад, ryancoolround said:680 ботов в nginx, мне кажется производительность ты не любишь)У меня все ништяг 680 то зачем. Там больше половины можно убирать
2 августа, 2025Aug 2 Ну @Zero108 сказал что список регулярно обновляется... Но как быть со всякими vdsina и amazon, это же не боты...
2 августа, 2025Aug 2 3 минуты назад, ryancoolround said:Ну @Zero108 сказал что список регулярно обновляется... Но как быть со всякими vdsina и amazon, это же не боты...Я по своим логам смотрю и блокирую. У америкосов своя тактика похоже)Вдсина тоже достала в свое время
2 августа, 2025Aug 2 1 минуту назад, aLEX49566 said:Я по своим логам смотрю и блокирую.Так и я смотрю. Вот они самые главные виновники торжества:GPTBotClaudeBotPetalBotTikTokSpiderkeys-so-botcrawlerMJ12botDataForSeoBotSemrushBotAhrefsBotDotBotZoominfoBotBytespiderOAI-SearchBotОт них может быть по 30000 запросов в сутки на мои сайты, а теперь прикиньте по сколько запросов от них на полезных сайтах...
2 августа, 2025Aug 2 1 минуту назад, ryancoolround said:запросов от них на полезных сайтахВ нжиникс кинь
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.