Jump to content

Featured Replies

Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/
Share on other sites
  • 5 месяцев спустя...
  • Replies 77
  • Created
  • Последний ответ
Expand topic overview

Лучшие авторы в теме

Лучшие авторы в теме

Most Popular Posts

anomal3
anomal3

смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ

Redneck
Redneck

надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitem

ram108
ram108

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /s

Posted Images

Expand topic overview

Нет указания на хост и карту сайта, или это не обязательно?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109489
Share on other sites
4 часа назад, Flasher сказал:

Нет указания на хост и карту сайта, или это не обязательно?

надо указывать, просто не стал писать. в конце прописываем:

Sitemap: http://сайт.ru/sitemap.php

Host: сайт.ru

Если сайт на https, то это обязательно надо указать и в карте и в хосте:

Sitemap: https://сайт.ru/sitemap.php

Host: https://сайт.ru

 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109494
Share on other sites

Но of сайте написано, что он не требуется.

Цитата

We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway

 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109495
Share on other sites
6 минут назад, Sipsb сказал:

Но of сайте написано, что он не требуется.

 

да, но поисковики его просят :) 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109496
Share on other sites
  • 3 месяца спустя...
В 30.01.2016 в 19:34, Redneck сказал:

User-agent: Yandex

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще:

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.php

 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=113609
Share on other sites
Только что, ram108 сказал:

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции

не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано :) 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=113610
Share on other sites
  • 3 недели спустя...

А типа приложений не нужно указывать "/links/" не нужно указывать?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=114897
Share on other sites

Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=114904
Share on other sites
  • 2 месяца спустя...

ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=120544
Share on other sites

Список плохих, плохих ботов для маньяков robots.txt

robots.txt

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=120561
Share on other sites
  • 2 месяца спустя...
7 минут назад, Genamalugin сказал:

Подскажите, пожалуйста, куда заливать robots.txt?

в корень, туда где лежат файлы вашего форума

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=126337
Share on other sites
  • 1 месяц спустя...


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129701
Share on other sites
11 минут назад, killer911 сказал:


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129702
Share on other sites
3 минуты назад, WOLF сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129703
Share on other sites
5 минут назад, killer911 сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Нет

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129704
Share on other sites

Немного полученного опыта:

Если установлены "страницы", нужно закрыть форму отправки статьи на емеил.

Disallow: /pages/*/*/*/?do=email
Disallow: /pages/*/*/?do=email
Disallow: /pages/*/?do=email

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=130277
Share on other sites
  • 2 недели спустя...

С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=131178
Share on other sites
  • 7 месяцев спустя...

интересно, а почему =do не закрываете?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143454
Share on other sites

у меня в корне нет никакого robots.txt

но при переходе по ссылке site.ru/robots.txt 

открывается страница с содержимым

User-agent: *
Disallow: /

Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143592
Share on other sites

а что за хостинг такой волшебный

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143908
Share on other sites
  • 2 месяца спустя...

яндекс вебмастер показывает 

Загруженых 1 930 161 страник, когда в поиске всего 198 820

Подскажите, что не так в моём роботсе?

User-agent: *

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*

User-agent: Yandex

# Disallow directory
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

#Disallow files
Disallow: /403error.php
Disallow: /404error.php
Disallow: /500error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Querystring
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

# Allow specific parts
Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*
Host: сайт/board/
Sitemap: https://сайт/board/sitemap.php

 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147714
Share on other sites
1 час назад, Ректор сказал:

Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php

Я понял правильно, вы это забыли заменить? или не хотите палить сайт?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147716
Share on other sites

просто заменил на слово сайт тут

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147717
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.


Guest
Ответить в этой теме...

Последние посетители 0

  • No registered users viewing this page.