Jump to content
sergstesh

Помогите настроить robots txt

Recommended Posts

Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом.

И кто может подсказать чем отличаются  robots txt для движка IPB и IPS?

Вот мой robots txt:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*%2525
Disallow: /*?s=
Disallow: /*&s=
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Host: https://investmani.ru
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Google
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

Share this post


Link to post
Share on other sites
37 минут назад, sergstesh сказал:

И кто может подсказать чем отличаются  robots txt для движка IPS?

Для IPS он не требуется. 

 

Share this post


Link to post
Share on other sites

Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

Share this post


Link to post
Share on other sites
14 минут назад, GINERATOR сказал:

 

Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

 

У меня форум на IPB движке, вот я бы и хотел разобраться с тем robots.txt который у меня уже стоит,  так как после обновления индексации страниц в поиске Яндекса, появляются на мое мнение много не нужных страниц, которые не должны быть в поиске, например вот такие:

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=5&userMode=title&search_app=forums&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=231&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=title&search_app_filters[forums][sortDir]=&st=50

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=52&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1&st=75

А так же много страниц вылетают из поиска, как некачественные, редирект, ошибки и т.д. Знаю что это не хорошо но как с этим справиться не знаю, поэтому прошу помощи у понимающих людей.

Share this post


Link to post
Share on other sites
2 часа назад, sergstesh сказал:

Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1

Все сразу закрыть
Disallow: /index.php?

На вашем сайте каждая страница доступна по двум адресам, дублируются страницы в поиске. Дублирование контента, которое приводит к снижению позиций таких страниц.

Это ошибка, нужно работать с файлом .htaccess 

https://investmani.ru/index.php/forum/63-finansovaia-gramotnost/

https://investmani.ru/forum/63-finansovaia-gramotnost/

 

Share this post


Link to post
Share on other sites

А что не так в моем .htaccess? вроде бы index.php  из url убран кодом в .htaccess и о каких еще ошибках вы говорите, которые нужно исправлять? Вы поможете мне в этом?

Вот мой .htaccess что еще здесь можно настроить?

 

<IfModule mod_rewrite.c>
#Options -MultiViews
RewriteEngine On

RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP:X-Forwarded-proto} !^https$
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
#RewriteEngine On
#RewriteCond %{REQUEST_URI} !^/robots\.txt$
#RewriteCond %{HTTP:X-Forwarded-proto} !^https$
#RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...