Posted 22 июня, 20178 yr Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом. И кто может подсказать чем отличаются robots txt для движка IPB и IPS? Вот мой robots txt: User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*%2525 Disallow: /*?s= Disallow: /*&s= Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Sitemap: https://investmani.ru/sitemap.xml User-agent: Yandex Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /*%2525 Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Host: https://investmani.ru Sitemap: https://investmani.ru/sitemap.xml User-agent: Google Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /*%2525 Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Sitemap: https://investmani.ru/sitemap.xml
22 июня, 20178 yr 37 минут назад, sergstesh сказал: И кто может подсказать чем отличаются robots txt для движка IPS? Для IPS он не требуется.
22 июня, 20178 yr Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта.
22 июня, 20178 yr Author 14 минут назад, GINERATOR сказал: Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта. У меня форум на IPB движке, вот я бы и хотел разобраться с тем robots.txt который у меня уже стоит, так как после обновления индексации страниц в поиске Яндекса, появляются на мое мнение много не нужных страниц, которые не должны быть в поиске, например вот такие: https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=5&userMode=title&search_app=forums&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1 https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=231&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=title&search_app_filters[forums][sortDir]=&st=50 https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=52&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1&st=75 А так же много страниц вылетают из поиска, как некачественные, редирект, ошибки и т.д. Знаю что это не хорошо но как с этим справиться не знаю, поэтому прошу помощи у понимающих людей.
22 июня, 20178 yr 2 часа назад, sergstesh сказал: Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Все сразу закрыть Disallow: /index.php? На вашем сайте каждая страница доступна по двум адресам, дублируются страницы в поиске. Дублирование контента, которое приводит к снижению позиций таких страниц. Это ошибка, нужно работать с файлом .htaccess https://investmani.ru/index.php/forum/63-finansovaia-gramotnost/ https://investmani.ru/forum/63-finansovaia-gramotnost/
22 июня, 20178 yr Author А что не так в моем .htaccess? вроде бы index.php из url убран кодом в .htaccess и о каких еще ошибках вы говорите, которые нужно исправлять? Вы поможете мне в этом? Вот мой .htaccess что еще здесь можно настроить? <IfModule mod_rewrite.c> #Options -MultiViews RewriteEngine On RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteCond %{HTTP:X-Forwarded-proto} !^https$ RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L] RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule> #RewriteEngine On #RewriteCond %{REQUEST_URI} !^/robots\.txt$ #RewriteCond %{HTTP:X-Forwarded-proto} !^https$ #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
22 июня, 20178 yr Я дал пару советов, если у вас есть потребность в SEO оптимизации. Обращайтесь ко мне в ЛС.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.