iDreaMs Posted September 10 Report Share Posted September 10 Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка Вот примеры страниц с ошибками (дублями) Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать https://yandex.ru/support/webmaster/robot-workings/clean-param.html SlawkA 1 Quote Link to comment Share on other sites More sharing options...
Zero108 Posted September 10 Report Share Posted September 10 (edited) Так а чего эти сектанты сами примеры не выложили, которые их устроят от нового адепта? Несерьезный подход, и щитаю. Edited September 10 by Zero108 SlawkA 1 Quote Link to comment Share on other sites More sharing options...
SlawkA Posted September 10 Report Share Posted September 10 ваще болт забил на яндекс и гугл и роботс. ваще по кую и нах оно ваще нужно? и этот яндекс мастер или гугл? у вас чё проблем больше нет? чем этим говном занимать. Zero108 1 Quote Link to comment Share on other sites More sharing options...
aLEX49566 Posted September 10 Report Share Posted September 10 1 час назад, iDreaMs сказал: Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка Вот примеры страниц с ошибками (дублями) Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать https://yandex.ru/support/webmaster/robot-workings/clean-param.html Без гет блокни в роботс и все С гет вернее Quote Link to comment Share on other sites More sharing options...
aLEX49566 Posted September 10 Report Share Posted September 10 https://yandex.ru/support/webmaster/robot-workings/clean-param.html?ysclid=lmdlktm3lx297813752 Quote Link to comment Share on other sites More sharing options...
Zero108 Posted September 10 Report Share Posted September 10 Quote Link to comment Share on other sites More sharing options...
HooLIGUN Posted Monday at 11:25 AM Report Share Posted Monday at 11:25 AM Всем привет! Подскажите, как запретить роботу лезть дальше определенных параметров Есть ссылка, ее хотелось бы разрешить индексировать https://сайт.ru/index.php?mode=info&player=123456 (123456 - айди пользователя разный) Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее, и переходит по ним, создавая доп. нагрузку и запросы к АПИ (которые лимитированы) https://сайт.ru/index.php?mode=info&player=123456&guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40 Как настроить robots.txt так, чтобы робот дальше параметра &player=123456 не ходил ? Quote Link to comment Share on other sites More sharing options...
Zero108 Posted Monday at 03:01 PM Report Share Posted Monday at 03:01 PM А чего через Cloudflare не забанить по URI containts = guests_page? Quote Link to comment Share on other sites More sharing options...
HooLIGUN Posted Monday at 04:09 PM Report Share Posted Monday at 04:09 PM 1 час назад, Zero108 сказал: А чего через Cloudflare не забанить по URI containts = guests_page? Есть пример как это сделать? Скриншотом желательно Quote Link to comment Share on other sites More sharing options...
Zero108 Posted Monday at 04:32 PM Report Share Posted Monday at 04:32 PM (edited) HooLIGUN скорее всего верхняя строчка (URI query string), но можно обе попробовать. Edited Monday at 04:33 PM by Zero108 Quote Link to comment Share on other sites More sharing options...
Zero108 Posted Monday at 04:56 PM Report Share Posted Monday at 04:56 PM (edited) Соответственно, если известен user-agent, то нужно его добавить через AND: Примечение: без понятия, какой у яндекс-браузер user-agent, но бота яндекса должно забанить. Если нужно совсем по фен-шую, регистронезависимо так сказать, то нужно добавлять через редактирование правила такое условие: Убрал лишнюю скобку. Вот так: (http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex") Edited Monday at 04:59 PM by Zero108 Quote Link to comment Share on other sites More sharing options...
HooLIGUN Posted Monday at 06:11 PM Report Share Posted Monday at 06:11 PM "guests_page" - не константа, там куча разных переменных может быть, нужно заблокировать всё что после &player=123456 Quote Link to comment Share on other sites More sharing options...
Zero108 Posted Monday at 06:16 PM Report Share Posted Monday at 06:16 PM (edited) HooLIGUN значит перебирайте в правиле все варианты, которые нужны. Что-то отсюда, что-то еще, что может быть: &guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40 (http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex") or (http.request.uri.query contains "player_sortorder" and lower(http.user_agent) contains "yandex") or ... Edited Monday at 06:18 PM by Zero108 Quote Link to comment Share on other sites More sharing options...
Exception Posted Monday at 07:09 PM Report Share Posted Monday at 07:09 PM (edited) 7 часов назад, HooLIGUN сказал: Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее на ссылки нужно добавить атрибуты запрета перехода по ним для роботов Edited Monday at 07:10 PM by Exception Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.