iDreaMs Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка Вот примеры страниц с ошибками (дублями) Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать https://yandex.ru/support/webmaster/robot-workings/clean-param.html SlawkA 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 (изменено) Так а чего эти сектанты сами примеры не выложили, которые их устроят от нового адепта? Несерьезный подход, и щитаю. Изменено 10 сентября, 2023 пользователем Zero108 SlawkA 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
SlawkA Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 ваще болт забил на яндекс и гугл и роботс. ваще по кую и нах оно ваще нужно? и этот яндекс мастер или гугл? у вас чё проблем больше нет? чем этим говном занимать. Zero108 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
aLEX49566 Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 1 час назад, iDreaMs сказал: Доброго дня, в Yandex Webmaster'e появилась 1 критическая ошибка Вот примеры страниц с ошибками (дублями) Насколько я понял, в robots.txt нужно прописать для membershop Clean-param, вроде и инструкция есть, но на 100% не уверен как правильно нужно прописать https://yandex.ru/support/webmaster/robot-workings/clean-param.html Без гет блокни в роботс и все С гет вернее Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
aLEX49566 Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 https://yandex.ru/support/webmaster/robot-workings/clean-param.html?ysclid=lmdlktm3lx297813752 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 10 сентября, 2023 Поделиться Опубликовано 10 сентября, 2023 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
HooLIGUN Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 Всем привет! Подскажите, как запретить роботу лезть дальше определенных параметров Есть ссылка, ее хотелось бы разрешить индексировать https://сайт.ru/index.php?mode=info&player=123456 (123456 - айди пользователя разный) Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее, и переходит по ним, создавая доп. нагрузку и запросы к АПИ (которые лимитированы) https://сайт.ru/index.php?mode=info&player=123456&guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40 Как настроить robots.txt так, чтобы робот дальше параметра &player=123456 не ходил ? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 А чего через Cloudflare не забанить по URI containts = guests_page? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
HooLIGUN Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 1 час назад, Zero108 сказал: А чего через Cloudflare не забанить по URI containts = guests_page? Есть пример как это сделать? Скриншотом желательно Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 (изменено) HooLIGUN скорее всего верхняя строчка (URI query string), но можно обе попробовать. Изменено 25 сентября, 2023 пользователем Zero108 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 (изменено) Соответственно, если известен user-agent, то нужно его добавить через AND: Примечение: без понятия, какой у яндекс-браузер user-agent, но бота яндекса должно забанить. Если нужно совсем по фен-шую, регистронезависимо так сказать, то нужно добавлять через редактирование правила такое условие: Убрал лишнюю скобку. Вот так: (http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex") Изменено 25 сентября, 2023 пользователем Zero108 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
HooLIGUN Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 "guests_page" - не константа, там куча разных переменных может быть, нужно заблокировать всё что после &player=123456 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 (изменено) HooLIGUN значит перебирайте в правиле все варианты, которые нужны. Что-то отсюда, что-то еще, что может быть: &guests_page=1&player_page=2&aliases_sort=111&aliases_sortorder=desc&playerk_sort=head&player_sortorder=asc&weap_sort=smkdr&weap_sortorder=desc&maps_sort=map&maps_sortorder=desc&mix_page=40 (http.request.uri.query contains "guests_page" and lower(http.user_agent) contains "yandex") or (http.request.uri.query contains "player_sortorder" and lower(http.user_agent) contains "yandex") or ... Изменено 25 сентября, 2023 пользователем Zero108 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Exception Опубликовано 25 сентября, 2023 Поделиться Опубликовано 25 сентября, 2023 (изменено) 7 часов назад, HooLIGUN сказал: Но робот находит на этой странице дополнительные ссылки с параметрами сортировки и прочее на ссылки нужно добавить атрибуты запрета перехода по ним для роботов Изменено 25 сентября, 2023 пользователем Exception Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.