Jump to content
Redneck

Robots.txt для IPS4

Recommended Posts

Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

 

Share this post


Link to post
Share on other sites
4 часа назад, Flasher сказал:

Нет указания на хост и карту сайта, или это не обязательно?

надо указывать, просто не стал писать. в конце прописываем:

Sitemap: http://сайт.ru/sitemap.php

Host: сайт.ru

Если сайт на https, то это обязательно надо указать и в карте и в хосте:

Sitemap: https://сайт.ru/sitemap.php

Host: https://сайт.ru

 

Share this post


Link to post
Share on other sites

Но of сайте написано, что он не требуется.

Цитата

We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway

 

Share this post


Link to post
Share on other sites
В 30.01.2016 в 19:34, Redneck сказал:

User-agent: Yandex

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще:

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.php

 

Share this post


Link to post
Share on other sites
Только что, ram108 сказал:

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции

не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано :) 

Share this post


Link to post
Share on other sites

Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.

Share this post


Link to post
Share on other sites

ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.

Share this post


Link to post
Share on other sites
7 минут назад, Genamalugin сказал:

Подскажите, пожалуйста, куда заливать robots.txt?

в корень, туда где лежат файлы вашего форума

Share this post


Link to post
Share on other sites
11 минут назад, killer911 сказал:


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

Share this post


Link to post
Share on other sites
3 минуты назад, WOLF сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Share this post


Link to post
Share on other sites
5 минут назад, killer911 сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Нет

Share this post


Link to post
Share on other sites

Немного полученного опыта:

Если установлены "страницы", нужно закрыть форму отправки статьи на емеил.

Disallow: /pages/*/*/*/?do=email
Disallow: /pages/*/*/?do=email
Disallow: /pages/*/?do=email

Share this post


Link to post
Share on other sites

С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!

Share this post


Link to post
Share on other sites

у меня в корне нет никакого robots.txt

но при переходе по ссылке site.ru/robots.txt 

открывается страница с содержимым

User-agent: *
Disallow: /

Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше

Share this post


Link to post
Share on other sites

яндекс вебмастер показывает 

Загруженых 1 930 161 страник, когда в поиске всего 198 820

Подскажите, что не так в моём роботсе?

User-agent: *

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*

User-agent: Yandex

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*
Host: сайт/board/
Sitemap: https://сайт/board/sitemap.php

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...