Jump to content

Featured Replies

  • Replies 92
  • Просмотров 32,1k
  • Created
  • Последний ответ

Лучшие авторы в теме

Most Popular Posts

  • смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ

  • надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitem

  • Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /s

Posted Images

  • 2 years later...
  • 1 месяц спустя...

Это мой, что-то, конечно, лишнее, но яндекс и гугл перестал ругаться на дубли, неканонические и прочее.

robots.txt

User-agent: *

Disallow: /applications/
Disallow: /notifications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /settings/
Disallow: /modcp/
Disallow: /bookmarks/
Disallow: /contact/
Disallow: /messenger/
Disallow: /activity/
Disallow: ?tab=
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: ?sortby=
Disallow: /profile/*
Disallow: /clients/info/
Disallow: page__st__
Disallow: ?do=rotate
Disallow: page__view
Disallow: *?do=findComment
Disallow: filter=
Disallow: *?do=getNewComment
Disallow: *?do=getLastComment
Disallow: ?page=
Disallow: /user/*
Disallow: /userdir/*
Disallow: *?do=metadata
Disallow: page__prune
Disallow: /img/*
Disallow: st
Disallow: *page__sort
Disallow: *?view=list
Disallow: *?view=grid
Disallow: csrfKey=
Disallow: ?browse=1
Disallow: ?&page=
Disallow: *page__hl
Disallow: *page__show
Disallow: page__p__
Disallow: page__pid__
Disallow: *?do=edit
Disallow: ?ct=
Disallow: ?lightbox=
Disallow: *?context=new
Disallow: *?do=download
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /files/submit/?do=submit*
Disallow: *fromLogout=
Disallow: *fromLogin=
Disallow: *?changelog=
Disallow: *?do=add
Disallow: *?do=showReactionsComment
Disallow: images.xml
Disallow: *?do=embed
Disallow: page__fromsearch
Disallow: ?_fromLogin=
Disallow: *?do=newVersion
Disallow: *?advancedSearchForm
Disallow: *?do=getFirstComment
Disallow: /forum/201/
Disallow: /forum/277/
Disallow: page__fromsearch__
Disallow: ?t=
Disallow: *?sort=newest
Disallow: *tab=reviews
Disallow: *?forcePrint=
Disallow: *?tab=comments
Disallow: *?do=findReview
Disallow: *?failedReply
Disallow: *-
Host: ваш хост
Sitemap: ссылка на sitemap

  • 1 месяц спустя...
On 20.03.2025 at 15:22, Desti said:

ни на что он не ругается

28

Disallow: ?tab=

Правило начинается не с символа '/' и не с символа '*'

31

Disallow: ?sortby=

Правило начинается не с символа '/' и не с символа '*'

34

Disallow: page__st__

Правило начинается не с символа '/' и не с символа '*'

35

Disallow: ?do=rotate

Правило начинается не с символа '/' и не с символа '*'

36

Disallow: page__view

Правило начинается не с символа '/' и не с символа '*'

38

Disallow: filter=

Правило начинается не с символа '/' и не с символа '*'

41

Disallow: ?page=

Правило начинается не с символа '/' и не с символа '*'

45

Disallow: page__prune

Правило начинается не с символа '/' и не с символа '*'

47

Disallow: st

Правило начинается не с символа '/' и не с символа '*'

51

Disallow: csrfKey=

Правило начинается не с символа '/' и не с символа '*'

52

Disallow: ?browse=1

Правило начинается не с символа '/' и не с символа '*'

53

Disallow: ?&page=

Правило начинается не с символа '/' и не с символа '*'

56

Disallow: page__p__

Правило начинается не с символа '/' и не с символа '*'

57

Disallow: page__pid__

Правило начинается не с символа '/' и не с символа '*'

59

Disallow: ?ct=

Правило начинается не с символа '/' и не с символа '*'

60

Disallow: ?lightbox=

Правило начинается не с символа '/' и не с символа '*'

71

Disallow: images.xml

Правило начинается не с символа '/' и не с символа '*'

73

Disallow: page__fromsearch

Правило начинается не с символа '/' и не с символа '*'

74

Disallow: ?_fromLogin=

Правило начинается не с символа '/' и не с символа '*'

78

Disallow: page__fromsearch__

Правило начинается не с символа '/' и не с символа '*'

79

Disallow: ?t=

Правило начинается не с символа '/' и не с символа '*'

1 час назад, macar said:

28

Disallow: ?tab=

Правило начинается не с символа '/' и не с символа '*'

31

Disallow: ?sortby=

Правило начинается не с символа '/' и не с символа '*'

34

Disallow: page__st__

Правило начинается не с символа '/' и не с символа '*'

35

Disallow: ?do=rotate

Правило начинается не с символа '/' и не с символа '*'

36

Disallow: page__view

Правило начинается не с символа '/' и не с символа '*'

38

Disallow: filter=

Правило начинается не с символа '/' и не с символа '*'

41

Disallow: ?page=

Правило начинается не с символа '/' и не с символа '*'

45

Disallow: page__prune

Правило начинается не с символа '/' и не с символа '*'

47

Disallow: st

Правило начинается не с символа '/' и не с символа '*'

51

Disallow: csrfKey=

Правило начинается не с символа '/' и не с символа '*'

52

Disallow: ?browse=1

Правило начинается не с символа '/' и не с символа '*'

53

Disallow: ?&page=

Правило начинается не с символа '/' и не с символа '*'

56

Disallow: page__p__

Правило начинается не с символа '/' и не с символа '*'

57

Disallow: page__pid__

Правило начинается не с символа '/' и не с символа '*'

59

Disallow: ?ct=

Правило начинается не с символа '/' и не с символа '*'

60

Disallow: ?lightbox=

Правило начинается не с символа '/' и не с символа '*'

71

Disallow: images.xml

Правило начинается не с символа '/' и не с символа '*'

73

Disallow: page__fromsearch

Правило начинается не с символа '/' и не с символа '*'

74

Disallow: ?_fromLogin=

Правило начинается не с символа '/' и не с символа '*'

78

Disallow: page__fromsearch__

Правило начинается не с символа '/' и не с символа '*'

79

Disallow: ?t=

Правило начинается не с символа '/' и не с символа '*'

Вот и у меня тоже самое. А если весь роботс заменить на то, что здесь ?

На то, что у дести

Disallow: *?view=list

Disallow: *?view=grid

Disallow: csrfKey=

Disallow: ?browse=1

Disallow: ?&page=

Disallow: *page__hl

Disallow: *page__show

Disallow: page__p__

Disallow: page__pid__

Disallow: *?do=edit

Disallow: ?ct=

Disallow: ?lightbox=

Disallow: *?context=new

Disallow: *?do=download

Disallow: filter=

Disallow: /discover/

Disallow: /leaderboard/

Disallow: /files/submit/?do=submit*

Disallow: *fromLogout=

Disallow: *fromLogin=

Disallow: ?_fromLogin=

Disallow: *?changelog=

Disallow: *?do=add

Disallow: images.xml

Disallow: *?do=showReactionsComment

Disallow: *?do=embed

Disallow: page__fromsearch

Disallow: *?do=newVersion

Disallow: *?advancedSearchForm

Disallow: *?do=getFirstComment

Disallow: page__fromsearch__

Disallow: ?t=

Disallow: *?sort=newest

Disallow: *tab=reviews

Disallow: *?forcePrint=

Disallow: *?tab=comments

Disallow: *?do=findReview

Disallow: *?failedReply

Disallow: *-

Disallow: /pastleaders/

Disallow: /startTopic/

Disallow: /markallread/

Disallow: /staff/

Disallow: /cookies/

Disallow: /403.html

Disallow: /404.html

Edited by Donjuan

39 минут назад, aLEX49566 said:

Вот и у меня тоже самое. А если весь роботс заменить на то, что здесь ?

На то, что у дести

Это как раз и отчет яндекса о том роботе что здесь

Только что, macar said:

Это как раз и отчет яндекса о том роботе что здесь

Я себе так сделал. Ошибок нет.

Disallow: /auction/
Disallow: /applications/
Disallow: /notifications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /settings/
Disallow: /modcp/
Disallow: /bookmarks/
Disallow: /contact/
Disallow: /messenger/
Disallow: /activity/
Disallow: *?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: *?sortby=*
Disallow: /profile/*
Disallow: /clients/info/
Disallow: *page__st__*
Disallow: *?do=rotate*
Disallow: *page__view*
Disallow: *?do=findComment
Disallow: *?do=getNewComment
Disallow: *?do=getLastComment
Disallow: *?page=*
Disallow: /user/*
Disallow: /userdir/*
Disallow: *?do=metadata
Disallow: *page__prune*
Disallow: /img/*
Disallow: *__st__*
Disallow: *page__sort
Disallow: *?view=list
Disallow: *?view=grid
Disallow: *csrfKey=*
Disallow: *?browse=1*
Disallow: *?&page=*
Disallow: *page__hl
Disallow: *page__show
Disallow: *page__p__*
Disallow: *page__pid__*
Disallow: *?do=edit
Disallow: *?ct=*
Disallow: *?lightbox=*
Disallow: *?context=new
Disallow: *?do=download
Disallow: *filter=*
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /files/submit/?do=submit*
Disallow: *fromLogout=
Disallow: *fromLogin=
Disallow: *?_fromLogin=*
Disallow: *?changelog=
Disallow: *?do=add
Disallow: *images.xml*
Disallow: *?do=showReactionsComment
Disallow: *?do=embed
Disallow: *page__fromsearch*
Disallow: *?do=newVersion
Disallow: *?advancedSearchForm
Disallow: *?do=getFirstComment
Disallow: /forum/201/
Disallow: /forum/277/
Disallow: *page__fromsearch__*
Disallow: *?t=*
Disallow: *?sort=newest
Disallow: *tab=reviews
Disallow: *?forcePrint=
Disallow: *?tab=comments
Disallow: *?do=findReview
Disallow: *?failedReply
Disallow: *-
Disallow: /startTopic/
Disallow: /markallread/
Disallow: /staff/
Disallow: /*ref=
Disallow: /pastleaders/
Disallow: /cookies/
Disallow: /403.html
Disallow: /404.html

Немного дополнив то, что выше

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Ответить в этой теме...

Последние посетители 0

  • No registered users viewing this page.