Robots.txt для IPS4

[Redneck 812]

Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

 

[Flasher 0]

Нет указания на хост и карту сайта, или это не обязательно?

[Redneck 812]

4 часа назад, Flasher сказал:

Нет указания на хост и карту сайта, или это не обязательно?

надо указывать, просто не стал писать. в конце прописываем:

Sitemap: http://сайт.ru/sitemap.php

Host: сайт.ru

Если сайт на https, то это обязательно надо указать и в карте и в хосте:

Sitemap: https://сайт.ru/sitemap.php

Host: https://сайт.ru

 

[Sipsb 1716]

Но of сайте написано, что он не требуется.

Цитата

We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway

 

[Redneck 812]

6 минут назад, Sipsb сказал:

Но of сайте написано, что он не требуется.

 

да, но поисковики его просят  

[ram108 428]

В 30.01.2016 в 19:34, Redneck сказал:

User-agent: Yandex

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще:

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.php

 

[Redneck 812]

Только что, ram108 сказал:

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции

не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано  

[wasder12 154]

А типа приложений не нужно указывать "/links/" не нужно указывать?

[ram108 428]

Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.

[vovchik3003 4]

ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.

[Zero108 94]

Список плохих, плохих ботов для маньяков robots.txt

robots.txt

[Genamalugin 0]

Подскажите, пожалуйста, куда заливать robots.txt?

[WOLF 3010]

7 минут назад, Genamalugin сказал:

Подскажите, пожалуйста, куда заливать robots.txt?

в корень, туда где лежат файлы вашего форума

[killer911 1]

Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

[WOLF 3010]

11 минут назад, killer911 сказал:

Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

[killer911 1]

3 минуты назад, WOLF сказал:

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

[WOLF 3010]

5 минут назад, killer911 сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Нет

[killer911 1]

Немного полученного опыта:

Если установлены "страницы", нужно закрыть форму отправки статьи на емеил.

Disallow: /pages/*/*/*/?do=email
Disallow: /pages/*/*/?do=email
Disallow: /pages/*/?do=email

[killer911 1]

С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!

[urgentoo 0]

интересно, а почему =do не закрываете?

[bsnet 30]

у меня в корне нет никакого robots.txt

но при переходе по ссылке site.ru/robots.txt 

открывается страница с содержимым

User-agent: *
Disallow: /

Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше

[sanello 10]

а что за хостинг такой волшебный

[Ректор 23]

яндекс вебмастер показывает 

Загруженых 1 930 161 страник, когда в поиске всего 198 820

Подскажите, что не так в моём роботсе?

User-agent: *

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*

User-agent: Yandex

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*
Host: сайт/board/
Sitemap: https://сайт/board/sitemap.php

 

[Nikola_Telegin 36]

1 час назад, Ректор сказал:

Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php

Я понял правильно, вы это забыли заменить? или не хотите палить сайт?

[Ректор 23]

просто заменил на слово сайт тут