Jump to content

Помогите настроить robots txt

sergstesh
sergstesh
in Поисковая оптимизация

Featured Replies

Posted
comment_131133

Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом.

И кто может подсказать чем отличаются  robots txt для движка IPB и IPS?

Вот мой robots txt:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*%2525
Disallow: /*?s=
Disallow: /*&s=
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Host: https://investmani.ru
Sitemap: https://investmani.ru/sitemap.xml

User-agent: Google
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras&section=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: https://investmani.ru/sitemap.xml

  • Цитата
    comment_131136
    37 минут назад, sergstesh сказал:

    И кто может подсказать чем отличаются  robots txt для движка IPS?

    Для IPS он не требуется. 

     

  • Цитата
    comment_131138

    Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

  • Цитата
    • Author
    comment_131139
    14 минут назад, GINERATOR сказал:

     

    Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.

     

    У меня форум на IPB движке, вот я бы и хотел разобраться с тем robots.txt который у меня уже стоит,  так как после обновления индексации страниц в поиске Яндекса, появляются на мое мнение много не нужных страниц, которые не должны быть в поиске, например вот такие:

    https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=5&userMode=title&search_app=forums&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1

    https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=231&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=title&search_app_filters[forums][sortDir]=&st=50

    https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=52&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1&st=75

    А так же много страниц вылетают из поиска, как некачественные, редирект, ошибки и т.д. Знаю что это не хорошо но как с этим справиться не знаю, поэтому прошу помощи у понимающих людей.

  • Цитата
    comment_131142
    2 часа назад, sergstesh сказал:

    Disallow: /index.php?app=core&module=task
    Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
    Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
    Disallow: /index.php?app=forums&module=extras&section=forward
    Disallow: /index.php?app=members&module=messaging
    Disallow: /index.php?app=members&module=chat
    Disallow: /index.php?app=members&module=search
    Disallow: /index.php?app=core&module=search&do=search
    Disallow: /index.php?app=members&module=search&do=active
    Disallow: /index.php?&unlockUserAgent=1 

    Все сразу закрыть
Disallow: /index.php?

    На вашем сайте каждая страница доступна по двум адресам, дублируются страницы в поиске. Дублирование контента, которое приводит к снижению позиций таких страниц.

    Это ошибка, нужно работать с файлом .htaccess 

    https://investmani.ru/index.php/forum/63-finansovaia-gramotnost/

    https://investmani.ru/forum/63-finansovaia-gramotnost/

     

  • Цитата
    • Author
    comment_131144

    А что не так в моем .htaccess? вроде бы index.php  из url убран кодом в .htaccess и о каких еще ошибках вы говорите, которые нужно исправлять? Вы поможете мне в этом?

    Вот мой .htaccess что еще здесь можно настроить?

     

    <IfModule mod_rewrite.c>
    #Options -MultiViews
    RewriteEngine On

    RewriteCond %{REQUEST_URI} !^/robots\.txt$
    RewriteCond %{HTTP:X-Forwarded-proto} !^https$
    RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

    RewriteBase /
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L]

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    </IfModule>
    #RewriteEngine On
    #RewriteCond %{REQUEST_URI} !^/robots\.txt$
    #RewriteCond %{HTTP:X-Forwarded-proto} !^https$
    #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

  • Цитата

    • Join the conversation

    You can post now and register later. If you have an account, sign in now to post with your account.
    Note: Your post will require moderator approval before it will be visible.

    Guest
    Ответить в этой теме...
    Go to topic listing

    Последние посетители 0

    • No registered users viewing this page.