Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом.

И кто может подсказать чем отличаются  robots txt для движка IPB и IPS?

Вот мой robots txt:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*%2525
Disallow: /*?s=
Disallow: /*&s=
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Host: https://investmani.ru
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Google
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

37 минут назад, sergstesh сказал:

И кто может подсказать чем отличаются  robots txt для движка IPS?

Для IPS он не требуется. 

 

Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

14 минут назад, GINERATOR сказал:

 

Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

 

У меня форум на IPB движке, вот я бы и хотел разобраться с тем robots.txt который у меня уже стоит,  так как после обновления индексации страниц в поиске Яндекса, появляются на мое мнение много не нужных страниц, которые не должны быть в поиске, например вот такие:

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=5&userMode=title&search_app=forums&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=231&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=title&search_app_filters[forums][sortDir]=&st=50

https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=52&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1&st=75

А так же много страниц вылетают из поиска, как некачественные, редирект, ошибки и т.д. Знаю что это не хорошо но как с этим справиться не знаю, поэтому прошу помощи у понимающих людей.

2 часа назад, sergstesh сказал:

Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1

Все сразу закрыть
Disallow: /index.php?

На вашем сайте каждая страница доступна по двум адресам, дублируются страницы в поиске. Дублирование контента, которое приводит к снижению позиций таких страниц.

Это ошибка, нужно работать с файлом .htaccess 

https://investmani.ru/index.php/forum/63-finansovaia-gramotnost/

https://investmani.ru/forum/63-finansovaia-gramotnost/

 

И еще множество ошибок на сайте которые нужно исправлять.

А что не так в моем .htaccess? вроде бы index.php  из url убран кодом в .htaccess и о каких еще ошибках вы говорите, которые нужно исправлять? Вы поможете мне в этом?

Вот мой .htaccess что еще здесь можно настроить?

 

<IfModule mod_rewrite.c>
#Options -MultiViews
RewriteEngine On

RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP:X-Forwarded-proto} !^https$
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
#RewriteEngine On
#RewriteCond %{REQUEST_URI} !^/robots\.txt$
#RewriteCond %{HTTP:X-Forwarded-proto} !^https$
#RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

Пожалуйста, пользуетесь спойлером!  Спасибо. 

Спойлер

Содержимое. 

 

Я дал пару советов, если у вас есть потребность в SEO оптимизации. Обращайтесь ко мне в ЛС.

sergstesh, Вдруг, будет интересно... 

SEO Report investmani.ru.pdf