У меня nginx, добавил в настройки сайта
if ($http_user_agent ~ (yacybot|SputnikBot|omgili|statdom|semrush|sogou|magpie|DotBot|MegaIndex|ltx71|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) ) {
return 403;
}
Давно не пополнял, т.к. сейчас использую iptables+ipset, блокирую целыми подсетями. Боты, в большинстве случаев, живут у хостеров, обычных ползателей там нет.