Правильный ли это robots.txt?

Создать тему

Posted 18 октября, 201311 yr

Добрый день,или вечер.Заранее извиняюсь,в графе форум указала ваш(свой пока не хотелось палить).Правила вроде бы не нарушаю.

Вопрос следующий,пришло сообщения с google webmaster о том что файла robots.txt нет,он был но я забыла его переименовать.В файле было следующее содержание:

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=forums&module=moderate&section=moderate
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /forum/*app=core&module=global&section=reputation
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=core&amp;module=usercp
Disallow: /forum/*app=members&module=messaging
Disallow: /forum/*&p=
Disallow: /forum/*&pid=
Disallow: /forum/*&hl=
Disallow: /forum/*&start=
Disallow: /forum/*view__getnewpost$
Disallow: /forum/*view__getlastpost$
Disallow: /forum/*view__old$
Disallow: /forum/*view__new$
Disallow: /forum/*view__getfirst$
Disallow: /forum/*view__getprevious$
Disallow: /forum/*view__getnext$
Disallow: /forum/*view__getlast$
Disallow: /forum/*&view=getnewpost$
Disallow: /forum/*&view=getlastpost$
Disallow: /forum/*&view=old$
Disallow: /forum/*&view=new$
Disallow: /forum/*&view=getfirst$
Disallow: /forum/*&view=getprevious$
Disallow: /forum/*&view=getnext$
Disallow: /forum/*&view=getlast$
Disallow: /forum/*?s=
Disallow: /forum/*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread
Disallow: /forum/*&do=who
Disallow: /forum/*&section=dname

Оно верно?

Так же,в настройках SEO стоит пункт "Use .htaccess mod_rewrite" Он включен,и в мой .htaccess добавлен следующий код.

<IfModule mod_rewrite.c>
Options -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} .*.(jpeg|jpg|gif|png)$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule . /public/404.php [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

Так и должно быть?или что то надо изменить?.

Спасибо за помощь.

18 октября, 201311 yr

comment_46572

Lina, если адрес вашего форума website.com/forum, то всё правильно. А если форум лежит в корневой папке сайта website.com, то в robots.txt нужно изменить

Disallow: /forum/

на

Disallow: /

во всех строках, которые содержат данную запись

♥ Lina and benix
2

18 октября, 201311 yr

Author

comment_46573

Lina, если адрес вашего форума website.com/forum, то всё правильно. А если форум лежит в корневой папке сайта website.com, то в robots.txt нужно изменить
Disallow: /forum/
на
Disallow: /
во всех строках, которые содержат данную запись

Спасибо большое,у меня как раз второй вариант.

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&amp;module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname

Сейчас всё правильно?