Posted 2 августаAug 2 Список плохих ботов для robots.txtСписок регулярно обновляется: https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt
2 августаAug 2 11 часов назад, aLEX49566 said:В nginx по алфавиту и все680 ботов в nginx, мне кажется производительность ты не любишь)
2 августаAug 2 1 минуту назад, ryancoolround said:680 ботов в nginx, мне кажется производительность ты не любишь)У меня все ништяг 680 то зачем. Там больше половины можно убирать
2 августаAug 2 Ну @Zero108 сказал что список регулярно обновляется... Но как быть со всякими vdsina и amazon, это же не боты...
2 августаAug 2 3 минуты назад, ryancoolround said:Ну @Zero108 сказал что список регулярно обновляется... Но как быть со всякими vdsina и amazon, это же не боты...Я по своим логам смотрю и блокирую. У америкосов своя тактика похоже)Вдсина тоже достала в свое время
2 августаAug 2 1 минуту назад, aLEX49566 said:Я по своим логам смотрю и блокирую.Так и я смотрю. Вот они самые главные виновники торжества:GPTBotClaudeBotPetalBotTikTokSpiderkeys-so-botcrawlerMJ12botDataForSeoBotSemrushBotAhrefsBotDotBotZoominfoBotBytespiderOAI-SearchBotОт них может быть по 30000 запросов в сутки на мои сайты, а теперь прикиньте по сколько запросов от них на полезных сайтах...
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.