Приветствую!

Есть сайт - __пример.ru/ (на joomla) и форум (на IPB 3.4.6) __пример.ru/forums

Папка с форумом находиться в корне сайта.

Правильно ли я сделала, что robots.txt должен быть общий и находиться он в корне? Файл robotstxt из папки с форумом удален, и как быть с картой сайта?

Генераторы карты сайта у обоих движков разные, соответственно карты сайта  раскинуты по папкам самого сайта и форума.

НО! Поисковик принимает карты сайта и с __пример.ru/sitemap.xml и  с __пример.ru/forums/sitemap.xml отдельно, а вот robots нет.

 

Посмотрите, пожалуйста, код. Все ли верно сделано? И если будут ли какие-нибудь предложения, напишите пожалуйста.

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Allow: /images/
Allow: /forums/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /forums/admin/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:	  /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /forums/*&p=
Disallow: /forums/*&pid=
Disallow: /forums/*&hl=
Disallow: /forums/*&start=
Disallow: /forums/*view__getnewpost$
Disallow: /forums/*view__getlastpost$
Disallow: /forums/*view__old$
Disallow: /forums/*view__new$
Disallow: /forums/*view__getfirst$
Disallow: /forums/*view__getprevious$
Disallow: /forums/*view__getnext$
Disallow: /forums/*view__getlast$
Disallow: /forums/*&view=getnewpost$
Disallow: /forums/*&view=getlastpost$
Disallow: /forums/*&view=old$
Disallow: /forums/*&view=new$
Disallow: /forums/*&view=getfirst$
Disallow: /forums/*&view=getprevious$
Disallow: /forums/*&view=getnext$
Disallow: /forums/*&view=getlast$
Disallow: /forums/*?s=
Disallow: /forums/*&s=
Disallow: /forums/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forums/index.php?app=forums&module=extras&section=rating
Disallow: /forums/index.php?app=forums&module=forums&section=markasread
Disallow: /forums/*&do=who
Disallow: /forums/*&section=dname
Disallow: /forums/go/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/register/
Disallow: /forums/lostpass/
Disallow: /forums/login/
Disallow: /forums/index.php/user/
Disallow: /forums/index.php/members/
Disallow: /forums/index.php/calendar/
Disallow: /forums/index.php/register/
Disallow: /forums/index.php/lostpass/
Disallow: /forums/index.php/login/
Disallow: /forums/index.php?/user/
Disallow: /forums/index.php?/members/
Disallow: /forums/index.php?/calendar/
Disallow: /forums/index.php?/register/
Disallow: /forums/index.php?/lostpass/
Disallow: /forums/index.php?/login/
Crawl-delay: 2
Host: __zoasfan.ru
Sitemap: __zoasfan.ru/sitemap.xml
Sitemap: __zoasfan.ru/forums/sitemap.xml


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Allow: /images/
Allow: /forums/ 
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /forums/admin/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:	  /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /forums/*&p=
Disallow: /forums/*&pid=
Disallow: /forums/*&hl=
Disallow: /forums/*&start=
Disallow: /forums/*view__getnewpost$
Disallow: /forums/*view__getlastpost$
Disallow: /forums/*view__old$
Disallow: /forums/*view__new$
Disallow: /forums/*view__getfirst$
Disallow: /forums/*view__getprevious$
Disallow: /forums/*view__getnext$
Disallow: /forums/*view__getlast$
Disallow: /forums/*&view=getnewpost$
Disallow: /forums/*&view=getlastpost$
Disallow: /forums/*&view=old$
Disallow: /forums/*&view=new$
Disallow: /forums/*&view=getfirst$
Disallow: /forums/*&view=getprevious$
Disallow: /forums/*&view=getnext$
Disallow: /forums/*&view=getlast$
Disallow: /forums/*?s=
Disallow: /forums/*&s=
Disallow: /forums/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forums/index.php?app=forums&module=extras&section=rating
Disallow: /forums/index.php?app=forums&module=forums&section=markasread
Disallow: /forums/*&do=who
Disallow: /forums/*&section=dname
Disallow: /forums/go/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/register/
Disallow: /forums/lostpass/
Disallow: /forums/login/
Disallow: /forums/index.php/user/
Disallow: /forums/index.php/members/
Disallow: /forums/index.php/calendar/
Disallow: /forums/index.php/register/
Disallow: /forums/index.php/lostpass/
Disallow: /forums/index.php/login/
Disallow: /forums/index.php?/user/
Disallow: /forums/index.php?/members/
Disallow: /forums/index.php?/calendar/
Disallow: /forums/index.php?/register/
Disallow: /forums/index.php?/lostpass/
Disallow: /forums/index.php?/login/
Crawl-delay: 2

И если будут ли какие-нибудь предложения, напишите пожалуйста.

 

Нахрена вы дублируете два раза одни и те же правила для яндекса? Откуда такая дурная привычка взялась дублировать для каждого бота те же самые запреты, я понимаю когда они разные...

В хост протокол нужно указывать только если используется https.