Jump to content

Joomla + IPB общий Robots Есть вопрос!


 Share

Recommended Posts

Приветствую!

Есть сайт - __пример.ru/ (на joomla) и форум (на IPB 3.4.6) __пример.ru/forums

Папка с форумом находиться в корне сайта.

Правильно ли я сделала, что robots.txt должен быть общий и находиться он в корне? Файл robotstxt из папки с форумом удален, и как быть с картой сайта?

Генераторы карты сайта у обоих движков разные, соответственно карты сайта  раскинуты по папкам самого сайта и форума.

НО! Поисковик принимает карты сайта и с __пример.ru/sitemap.xml и  с __пример.ru/forums/sitemap.xml отдельно, а вот robots нет.

 

Посмотрите, пожалуйста, код. Все ли верно сделано? И если будут ли какие-нибудь предложения, напишите пожалуйста.

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Allow: /images/
Allow: /forums/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /forums/admin/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:	  /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /forums/*&p=
Disallow: /forums/*&pid=
Disallow: /forums/*&hl=
Disallow: /forums/*&start=
Disallow: /forums/*view__getnewpost$
Disallow: /forums/*view__getlastpost$
Disallow: /forums/*view__old$
Disallow: /forums/*view__new$
Disallow: /forums/*view__getfirst$
Disallow: /forums/*view__getprevious$
Disallow: /forums/*view__getnext$
Disallow: /forums/*view__getlast$
Disallow: /forums/*&view=getnewpost$
Disallow: /forums/*&view=getlastpost$
Disallow: /forums/*&view=old$
Disallow: /forums/*&view=new$
Disallow: /forums/*&view=getfirst$
Disallow: /forums/*&view=getprevious$
Disallow: /forums/*&view=getnext$
Disallow: /forums/*&view=getlast$
Disallow: /forums/*?s=
Disallow: /forums/*&s=
Disallow: /forums/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forums/index.php?app=forums&module=extras&section=rating
Disallow: /forums/index.php?app=forums&module=forums&section=markasread
Disallow: /forums/*&do=who
Disallow: /forums/*&section=dname
Disallow: /forums/go/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/register/
Disallow: /forums/lostpass/
Disallow: /forums/login/
Disallow: /forums/index.php/user/
Disallow: /forums/index.php/members/
Disallow: /forums/index.php/calendar/
Disallow: /forums/index.php/register/
Disallow: /forums/index.php/lostpass/
Disallow: /forums/index.php/login/
Disallow: /forums/index.php?/user/
Disallow: /forums/index.php?/members/
Disallow: /forums/index.php?/calendar/
Disallow: /forums/index.php?/register/
Disallow: /forums/index.php?/lostpass/
Disallow: /forums/index.php?/login/
Crawl-delay: 2
Host: __zoasfan.ru
Sitemap: __zoasfan.ru/sitemap.xml
Sitemap: __zoasfan.ru/forums/sitemap.xml


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Allow: /images/
Allow: /forums/ 
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /forums/admin/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:	  /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /forums/*&p=
Disallow: /forums/*&pid=
Disallow: /forums/*&hl=
Disallow: /forums/*&start=
Disallow: /forums/*view__getnewpost$
Disallow: /forums/*view__getlastpost$
Disallow: /forums/*view__old$
Disallow: /forums/*view__new$
Disallow: /forums/*view__getfirst$
Disallow: /forums/*view__getprevious$
Disallow: /forums/*view__getnext$
Disallow: /forums/*view__getlast$
Disallow: /forums/*&view=getnewpost$
Disallow: /forums/*&view=getlastpost$
Disallow: /forums/*&view=old$
Disallow: /forums/*&view=new$
Disallow: /forums/*&view=getfirst$
Disallow: /forums/*&view=getprevious$
Disallow: /forums/*&view=getnext$
Disallow: /forums/*&view=getlast$
Disallow: /forums/*?s=
Disallow: /forums/*&s=
Disallow: /forums/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forums/index.php?app=forums&module=extras&section=rating
Disallow: /forums/index.php?app=forums&module=forums&section=markasread
Disallow: /forums/*&do=who
Disallow: /forums/*&section=dname
Disallow: /forums/go/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/register/
Disallow: /forums/lostpass/
Disallow: /forums/login/
Disallow: /forums/index.php/user/
Disallow: /forums/index.php/members/
Disallow: /forums/index.php/calendar/
Disallow: /forums/index.php/register/
Disallow: /forums/index.php/lostpass/
Disallow: /forums/index.php/login/
Disallow: /forums/index.php?/user/
Disallow: /forums/index.php?/members/
Disallow: /forums/index.php?/calendar/
Disallow: /forums/index.php?/register/
Disallow: /forums/index.php?/lostpass/
Disallow: /forums/index.php?/login/
Crawl-delay: 2

Link to comment
Share on other sites

  • 2 weeks later...

И если будут ли какие-нибудь предложения, напишите пожалуйста.

 

Нахрена вы дублируете два раза одни и те же правила для яндекса? Откуда такая дурная привычка взялась дублировать для каждого бота те же самые запреты, я понимаю когда они разные...

В хост протокол нужно указывать только если используется https.

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...