sergstesh Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом. И кто может подсказать чем отличаются robots txt для движка IPB и IPS? Вот мой robots txt: User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*%2525 Disallow: /*?s= Disallow: /*&s= Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Sitemap: https://investmani.ru/sitemap.xml User-agent: Yandex Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /*%2525 Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Host: https://investmani.ru Sitemap: https://investmani.ru/sitemap.xml User-agent: Google Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*app=forums&module=extras§ion=stats&do=who Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /*%2525 Disallow: /user/ Disallow: /members/ Disallow: /index.php?app=members Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /index.php?app=core&module=search&do=search&search_tags= Sitemap: https://investmani.ru/sitemap.xml Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 37 минут назад, sergstesh сказал: И кто может подсказать чем отличаются robots txt для движка IPS? Для IPS он не требуется. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
GINERATOR Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта. sergstesh 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
sergstesh Опубликовано 22 июня, 2017 Автор Поделиться Опубликовано 22 июня, 2017 14 минут назад, GINERATOR сказал: Содержимое файла robots.txt отличается в зависимости от типа CMS. Главное задача этого файла скрыть ненужные страницы от поиска. Посетители должны попадать на полезные страницы, все остальное мы закрываем. Чем больше людей заходит на пустые страницы и уходят сразу, для ПС это сигнал плохого сайта. Соответственно сайт будет ранжироваться ниже. Он индивидуален для каждого конкретного проекта. У меня форум на IPB движке, вот я бы и хотел разобраться с тем robots.txt который у меня уже стоит, так как после обновления индексации страниц в поиске Яндекса, появляются на мое мнение много не нужных страниц, которые не должны быть в поиске, например вот такие: https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=5&userMode=title&search_app=forums&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1 https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=231&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=title&search_app_filters[forums][sortDir]=&st=50 https://investmani.ru/index.php?app=core&module=search&do=user_activity&mid=52&search_app=forums&userMode=content&search_app_filters[forums][searchInKey]=&search_app_filters[forums][sortKey]=date&search_app_filters[forums][sortDir]=1&st=75 А так же много страниц вылетают из поиска, как некачественные, редирект, ошибки и т.д. Знаю что это не хорошо но как с этим справиться не знаю, поэтому прошу помощи у понимающих людей. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
GINERATOR Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 2 часа назад, sergstesh сказал: Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=core&module=search&do=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Все сразу закрыть Disallow: /index.php? На вашем сайте каждая страница доступна по двум адресам, дублируются страницы в поиске. Дублирование контента, которое приводит к снижению позиций таких страниц. Это ошибка, нужно работать с файлом .htaccess https://investmani.ru/index.php/forum/63-finansovaia-gramotnost/ https://investmani.ru/forum/63-finansovaia-gramotnost/ sergstesh 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
GINERATOR Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 И еще множество ошибок на сайте которые нужно исправлять. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
sergstesh Опубликовано 22 июня, 2017 Автор Поделиться Опубликовано 22 июня, 2017 А что не так в моем .htaccess? вроде бы index.php из url убран кодом в .htaccess и о каких еще ошибках вы говорите, которые нужно исправлять? Вы поможете мне в этом? Вот мой .htaccess что еще здесь можно настроить? <IfModule mod_rewrite.c> #Options -MultiViews RewriteEngine On RewriteCond %{REQUEST_URI} !^/robots\.txt$ RewriteCond %{HTTP:X-Forwarded-proto} !^https$ RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L] RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteRule \.(jpeg|jpg|gif|png)$ /public/404.php [NC,L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule> #RewriteEngine On #RewriteCond %{REQUEST_URI} !^/robots\.txt$ #RewriteCond %{HTTP:X-Forwarded-proto} !^https$ #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L] Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 Пожалуйста, пользуетесь спойлером! Спасибо. Спойлер Содержимое. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
GINERATOR Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 Я дал пару советов, если у вас есть потребность в SEO оптимизации. Обращайтесь ко мне в ЛС. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 22 июня, 2017 Поделиться Опубликовано 22 июня, 2017 sergstesh, Вдруг, будет интересно... SEO Report investmani.ru.pdf sergstesh 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.