Готовый список правил для блокировки ботов через Nginx.conf 2.0.0

Файлы:

1. AS_hosting_ipinfo.io_countries_WORLD.txt - список всех известных ASN номеров с типом hosting по версии сайта ipinfo.io/countries на апрель 2026.

2. IPs_blocks_for_AS_hosting_ipinfo.io_countries_WORLD.txt- список CIDR всех известных ASN номеров с типом hosting из предыдущего файла.

3. blockcidr.conf - конфигурационный файл nginx со списком CIDR из предыдущего файла.

4. blockua.conf - конфигурационный файл nginx со списком, который блокирует более 190 современных AI-ботов, вредоносных сканеров и агрессивных краулеров, включая GPTBot, ClaudeBot, Google-Extended, OpenClaw (актуальная угроза 2026 года), а также инструменты вроде Nmap, SQLmap и HTTrack, при этом безопасно разрешая работу основных поисковых роботов (Googlebot, Bingbot), сервисов превью ссылок (Facebook, Telegram) и RSS-агрегаторов (Feedly). Файл представлен в формате готовой map-директивы для Nginx с флагами 0 (разрешить) и 1 (заблокировать). Внимание: поисковый бот yandex в правилах заблокирован!

Пример конфигурации nginx для домена, чтобы подключить эти файлы

Добавить после server { в основной файл nginx.conf или файл настроек для домена <ваш домен>.conf, в зависимости от вашей конфигурации nginx. Перезапустить службу nginx.

# Если User-Agent явно разрешён, пропускаем проверку IP
if ($badagent = 0) {
break; # Завершаем обработку, если агент разрешён
}
# Если User-Agent явно запрещён, возвращаем ошибку 403
if ($badagent = 1) {
return 403;
}
# Если User-Agent не указан явно (разрешён по умолчанию),
# проверяем IP и блокируем, если IP заблокирован
if ($block_ip) {
return 403;
}

Я применяю следующие настройки:

1. В основном файле nginx.conf вызываются конфигурационные файлы для отдельных доменов и добавляются файлы блокировок в разделе http {:
   include /etc/nginx/vhosts/*/*.conf;
   include /etc/nginx/blockua.conf;

   include /etc/nginx/blockcidr.conf;

2. В файлах отдельных доменов прописан вызов как на скриншоте:

   

3. Файлы blockcidr.conf и blockua.conf размещены в папке /etc/nginx - там же, где файл nginx.conf

Экслюзивная раздача для https://ipbmafia.ru/

Список правил для блокировки ботов на уровне сервера по шаблонам. После установки рекомендуется заглядывать в файл access.log сервера для поиска заблокированных (403) ботов, чтобы исключить полезные. Настройка описана тут: