Kuki Опубликовано 4 апреля, 2015 Поделиться Опубликовано 4 апреля, 2015 Приветствую! Есть сайт - __пример.ru/ (на joomla) и форум (на IPB 3.4.6) __пример.ru/forums Папка с форумом находиться в корне сайта. Правильно ли я сделала, что robots.txt должен быть общий и находиться он в корне? Файл robotstxt из папки с форумом удален, и как быть с картой сайта? Генераторы карты сайта у обоих движков разные, соответственно карты сайта раскинуты по папкам самого сайта и форума. НО! Поисковик принимает карты сайта и с __пример.ru/sitemap.xml и с __пример.ru/forums/sitemap.xml отдельно, а вот robots нет. Посмотрите, пожалуйста, код. Все ли верно сделано? И если будут ли какие-нибудь предложения, напишите пожалуйста. User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /cli/ Allow: /images/ Allow: /forums/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /*mailto* Disallow: /*start* Disallow: /*print* Disallow: /*feed* Disallow: /*search* Disallow: /*users* Disallow: /forums/admin/ Disallow: /forums/cache/ Disallow: /forums/converge_local/ Disallow: /forums/hooks/ Disallow: /forums/ips_kernel/ Disallow: /forums/retail/ Disallow: /forums/public/style_captcha/ Disallow: /forums/index.php?app=core&module=task Disallow: /forums/index.php?app=forums&module=moderate§ion=moderate Disallow: /forums/index.php?app=forums&module=extras§ion=forward Disallow: /forums/index.php?app=members&module=chat Disallow: /forums/index.php?&unlockUserAgent=1 Disallow: /forums/*&module=search Allow: /forums/*&search_tags= Disallow: /forums/*app=core&module=global§ion=reputation Disallow: /forums/*app=core&module=usercp Disallow: /forums/*app=members&module=messaging Disallow: /forums/*&p= Disallow: /forums/*&pid= Disallow: /forums/*&hl= Disallow: /forums/*&start= Disallow: /forums/*view__getnewpost$ Disallow: /forums/*view__getlastpost$ Disallow: /forums/*view__old$ Disallow: /forums/*view__new$ Disallow: /forums/*view__getfirst$ Disallow: /forums/*view__getprevious$ Disallow: /forums/*view__getnext$ Disallow: /forums/*view__getlast$ Disallow: /forums/*&view=getnewpost$ Disallow: /forums/*&view=getlastpost$ Disallow: /forums/*&view=old$ Disallow: /forums/*&view=new$ Disallow: /forums/*&view=getfirst$ Disallow: /forums/*&view=getprevious$ Disallow: /forums/*&view=getnext$ Disallow: /forums/*&view=getlast$ Disallow: /forums/*?s= Disallow: /forums/*&s= Disallow: /forums/index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /forums/index.php?app=forums&module=extras§ion=rating Disallow: /forums/index.php?app=forums&module=forums§ion=markasread Disallow: /forums/*&do=who Disallow: /forums/*§ion=dname Disallow: /forums/go/ Disallow: /forums/user/ Disallow: /forums/members/ Disallow: /forums/calendar/ Disallow: /forums/register/ Disallow: /forums/lostpass/ Disallow: /forums/login/ Disallow: /forums/index.php/user/ Disallow: /forums/index.php/members/ Disallow: /forums/index.php/calendar/ Disallow: /forums/index.php/register/ Disallow: /forums/index.php/lostpass/ Disallow: /forums/index.php/login/ Disallow: /forums/index.php?/user/ Disallow: /forums/index.php?/members/ Disallow: /forums/index.php?/calendar/ Disallow: /forums/index.php?/register/ Disallow: /forums/index.php?/lostpass/ Disallow: /forums/index.php?/login/ Crawl-delay: 2 Host: __zoasfan.ru Sitemap: __zoasfan.ru/sitemap.xml Sitemap: __zoasfan.ru/forums/sitemap.xml User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /cli/ Allow: /images/ Allow: /forums/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /*mailto* Disallow: /*start* Disallow: /*print* Disallow: /*feed* Disallow: /*search* Disallow: /*users* Disallow: /forums/admin/ Disallow: /forums/cache/ Disallow: /forums/converge_local/ Disallow: /forums/hooks/ Disallow: /forums/ips_kernel/ Disallow: /forums/retail/ Disallow: /forums/public/style_captcha/ Disallow: /forums/index.php?app=core&module=task Disallow: /forums/index.php?app=forums&module=moderate§ion=moderate Disallow: /forums/index.php?app=forums&module=extras§ion=forward Disallow: /forums/index.php?app=members&module=chat Disallow: /forums/index.php?&unlockUserAgent=1 Disallow: /forums/*&module=search Allow: /forums/*&search_tags= Disallow: /forums/*app=core&module=global§ion=reputation Disallow: /forums/*app=core&module=usercp Disallow: /forums/*app=members&module=messaging Disallow: /forums/*&p= Disallow: /forums/*&pid= Disallow: /forums/*&hl= Disallow: /forums/*&start= Disallow: /forums/*view__getnewpost$ Disallow: /forums/*view__getlastpost$ Disallow: /forums/*view__old$ Disallow: /forums/*view__new$ Disallow: /forums/*view__getfirst$ Disallow: /forums/*view__getprevious$ Disallow: /forums/*view__getnext$ Disallow: /forums/*view__getlast$ Disallow: /forums/*&view=getnewpost$ Disallow: /forums/*&view=getlastpost$ Disallow: /forums/*&view=old$ Disallow: /forums/*&view=new$ Disallow: /forums/*&view=getfirst$ Disallow: /forums/*&view=getprevious$ Disallow: /forums/*&view=getnext$ Disallow: /forums/*&view=getlast$ Disallow: /forums/*?s= Disallow: /forums/*&s= Disallow: /forums/index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /forums/index.php?app=forums&module=extras§ion=rating Disallow: /forums/index.php?app=forums&module=forums§ion=markasread Disallow: /forums/*&do=who Disallow: /forums/*§ion=dname Disallow: /forums/go/ Disallow: /forums/user/ Disallow: /forums/members/ Disallow: /forums/calendar/ Disallow: /forums/register/ Disallow: /forums/lostpass/ Disallow: /forums/login/ Disallow: /forums/index.php/user/ Disallow: /forums/index.php/members/ Disallow: /forums/index.php/calendar/ Disallow: /forums/index.php/register/ Disallow: /forums/index.php/lostpass/ Disallow: /forums/index.php/login/ Disallow: /forums/index.php?/user/ Disallow: /forums/index.php?/members/ Disallow: /forums/index.php?/calendar/ Disallow: /forums/index.php?/register/ Disallow: /forums/index.php?/lostpass/ Disallow: /forums/index.php?/login/ Crawl-delay: 2 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
soka Опубликовано 13 апреля, 2015 Поделиться Опубликовано 13 апреля, 2015 И если будут ли какие-нибудь предложения, напишите пожалуйста. Нахрена вы дублируете два раза одни и те же правила для яндекса? Откуда такая дурная привычка взялась дублировать для каждого бота те же самые запреты, я понимаю когда они разные... В хост протокол нужно указывать только если используется https. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.