Найдены страницы-дубли с GET-параметрами

[zavsegda]

Цитата

 

Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска.

 

В яндекс вебмастере выдаёт такую проблему, кто нибудь знает как решить ?

[by_ix]

в 4.6.8 решено было это.

[aplayer]

4.10

вот такую коллекцию в роботс насобирал по рекомендациям яндекса.

Clean-param: view&tab&do&sort&sortby&sortdirection&csrf&csrfKey&_fromLogin&_fromLogout&ct /*

[ryancoolround]

В 22.12.2021 в 22:56, aplayer сказал:

Clean-param: view&tab&do&sort&sortby&sortdirection&csrf&csrfKey&_fromLogin&_fromLogout&ct /*

Эту строчку просто в robots.txt поставить?

 

Хотя у меня только на профили и страницу Вся активность в профилях жалуются...

[HooLIGUN]

Тоже самое Яндекс прислал вчера

[aplayer]

В 24.12.2021 в 08:08, ryancoolround сказал:

Эту строчку просто в robots.txt поставить?

да.

Ну и периодически заглядывать в индексированные страницы яндекс вебмастера и смотреть какие там страницы с параметрами он добавляет в поиск и нужны ли они там. И после добавлять их в эту строку разделяя символом &

В теории. Если у движка настроено ЧПУ, то для поисковой системы не нужны никакие параметры url, можно смело отбрасывать все что после знака ?

Тоесть смело написать

Clean-param: *

[ryancoolround]

3 часа назад, aplayer сказал:

В теории. Если у движка настроено ЧПУ, то для поисковой системы не нужны никакие параметры url, можно смело отбрасывать все что после знака ?

Тоесть смело написать

Clean-param: *

А я ведь дурак, я попробую. Спасибо за совет.

[ryancoolround]

В 25.12.2021 в 11:05, aplayer сказал:

Тоесть смело написать

Clean-param: *

Яндекс сообщил следующее:

Цитата

Некорректный формат директивы Clean-param

 

[zavsegda]

35 минут назад, ryancoolround сказал:

Яндекс сообщил следующее:

 

Тоже самое, проблема не решилась

[aplayer]

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

тут написано что * обозначает любой диапазон символов.

Это значит

Clean-param: * 

означает игнорировать все

[Mano]

Ну вот странная всё же хрень. После обновления на 4.6.8 всё это говно с GET пропало из вебмастера. Прошло какое-то время и сейчас снова стала вылетать эта критическая ошибка с GET-параметрами... Выходит, что разрабы так и не вылечили эту проблему

[aplayer]

Еще заметил особенность. Иногда яндекс вебмастер присылает сообщения, что найдены дубли дубли, но проблемные  Get параметры форумный движок явно не генерирует. И принадлежат они совсем другим движкам. Сразу видно, что они свойственны джумлам, водпресам, phpbb итп.

Откуда он их берет? Судя по всему из метрики. Боты генерят эти страницы , а скрипт метрики их видит и засчитывает это как прямой заход. Поэтому вебмастер яндекса может прислать письмо, что на форуме найдены дубли с параметрами которых на IPS вы никогда в жизни не видели.