Jump to content

Robots.txt для IPS4


 Share

Recommended Posts

Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

 

Link to comment
Share on other sites

  • 5 months later...
4 часа назад, Flasher сказал:

Нет указания на хост и карту сайта, или это не обязательно?

надо указывать, просто не стал писать. в конце прописываем:

Sitemap: http://сайт.ru/sitemap.php

Host: сайт.ru

Если сайт на https, то это обязательно надо указать и в карте и в хосте:

Sitemap: https://сайт.ru/sitemap.php

Host: https://сайт.ru

 

Link to comment
Share on other sites

Но of сайте написано, что он не требуется.

Цитата

We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway

 

Link to comment
Share on other sites

  • 3 months later...
В 30.01.2016 в 19:34, Redneck сказал:

User-agent: Yandex

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще:

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.php

 

Link to comment
Share on other sites

Только что, ram108 сказал:

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции

не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано :) 

Link to comment
Share on other sites

  • 3 weeks later...

Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.

Link to comment
Share on other sites

  • 2 months later...

ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.

Link to comment
Share on other sites

  • 2 months later...
7 минут назад, Genamalugin сказал:

Подскажите, пожалуйста, куда заливать robots.txt?

в корень, туда где лежат файлы вашего форума

Link to comment
Share on other sites

  • 1 month later...


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

Link to comment
Share on other sites

11 минут назад, killer911 сказал:


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

Link to comment
Share on other sites

3 минуты назад, WOLF сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Link to comment
Share on other sites

5 минут назад, killer911 сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Нет

Link to comment
Share on other sites

Немного полученного опыта:

Если установлены "страницы", нужно закрыть форму отправки статьи на емеил.

Disallow: /pages/*/*/*/?do=email
Disallow: /pages/*/*/?do=email
Disallow: /pages/*/?do=email

Link to comment
Share on other sites

  • 2 weeks later...

С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!

Link to comment
Share on other sites

  • 7 months later...

у меня в корне нет никакого robots.txt

но при переходе по ссылке site.ru/robots.txt 

открывается страница с содержимым

User-agent: *
Disallow: /

Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше

Link to comment
Share on other sites

  • 2 months later...

яндекс вебмастер показывает 

Загруженых 1 930 161 страник, когда в поиске всего 198 820

Подскажите, что не так в моём роботсе?

User-agent: *

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*

User-agent: Yandex

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*
Host: сайт/board/
Sitemap: https://сайт/board/sitemap.php

 

Link to comment
Share on other sites

1 час назад, Ректор сказал:

Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php

Я понял правильно, вы это забыли заменить? или не хотите палить сайт?

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...