Помогите с robots.txt (Clean-param)

[iDreaMs]

Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка

Вот примеры страниц с ошибками (дублями)

Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

[Zero108]

Так а чего эти сектанты сами примеры не выложили, которые их устроят от нового адепта? Несерьезный подход, и щитаю. 

Изменено 10 сентября, 2023 пользователем Zero108

[SlawkA]

ваще болт забил на яндекс и гугл и роботс. ваще по кую
и нах оно ваще нужно? и этот яндекс мастер или гугл?
у вас чё проблем больше нет? чем этим говном занимать.

[aLEX49566]

1 час назад, iDreaMs сказал:

Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка

Вот примеры страниц с ошибками (дублями)

Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Без гет блокни в роботс и все

С гет вернее

[aLEX49566]

https://yandex.ru/support/webmaster/robot-workings/clean-param.html?ysclid=lmdlktm3lx297813752

[Zero108]

[HooLIGUN]

Всем привет! 

Подскажите, как запретить роботу лезть дальше определенных параметров

Есть ссылка, ее хотелось бы разрешить индексировать 

https://сайт.ru/index.php?mode=info&player=123456 (123456 - айди пользователя разный)

Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее, и переходит по ним, создавая доп. нагрузку и запросы к АПИ (которые лимитированы)

https://сайт.ru/index.php?mode=info&player=123456&guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40

Как настроить robots.txt так, чтобы робот дальше параметра &player=123456 не ходил ?

[Zero108]

А чего через Cloudflare не забанить по URI containts = guests_page?

[HooLIGUN]

1 час назад, Zero108 сказал:

А чего через Cloudflare не забанить по URI containts = guests_page?

Есть пример как это сделать? Скриншотом желательно 

[Zero108]

HooLIGUN скорее всего верхняя строчка (URI query string), но можно обе попробовать.

 

Изменено 25 сентября, 2023 пользователем Zero108

[Zero108]

Соответственно, если известен user-agent, то нужно его добавить через AND:

Примечение: без понятия, какой у яндекс-браузер user-agent, но бота яндекса должно забанить.

Если нужно совсем по фен-шую, регистронезависимо так сказать, то нужно добавлять через редактирование правила такое условие:

Убрал лишнюю скобку. Вот так:

(http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex")

 

Изменено 25 сентября, 2023 пользователем Zero108

[HooLIGUN]

"guests_page" - не константа, там куча разных переменных может быть, нужно заблокировать всё что после &player=123456 

[Zero108]

HooLIGUN значит перебирайте в правиле все варианты, которые нужны. 

Что-то отсюда, что-то еще, что может быть:

&guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40 

(http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex") or (http.request.uri.query contains "player_sortorder" and lower(http.user_agent) contains "yandex") or ...

 

 

Изменено 25 сентября, 2023 пользователем Zero108

[Exception]

7 часов назад, HooLIGUN сказал:

Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее

на ссылки нужно добавить атрибуты запрета перехода по ним для роботов

Изменено 25 сентября, 2023 пользователем Exception