Robots.txt для IPS4

28 июля, 20223 yr

1 час назад, Anche сказал:

macar А есть готовый уже? Чтобы просто закинуть и забыть)

Я просто не шарю какой нормальный тут, а какой нет.)

Еще надо?

Цитата

28 июля, 20223 yr

33 минуты назад, aLEX49566 сказал:

Еще надо?

Да)

Цитата

28 июля, 20223 yr

2 минуты назад, Anche сказал:

Да)

Скинул в личку

Цитата

Maqlao
1

24 январяJan 24

Есть у кого не будь в итоге нормальный robots? Скиньте кто не будь будь

Цитата

19 мартаMar 19

Это мой, что-то, конечно, лишнее, но яндекс и гугл перестал ругаться на дубли, неканонические и прочее.

robots.txt

User-agent: *

Disallow: /applications/
Disallow: /notifications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /settings/
Disallow: /modcp/
Disallow: /bookmarks/
Disallow: /contact/
Disallow: /messenger/
Disallow: /activity/
Disallow: ?tab=
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: ?sortby=
Disallow: /profile/*
Disallow: /clients/info/
Disallow: page__st__
Disallow: ?do=rotate
Disallow: page__view
Disallow: *?do=findComment
Disallow: filter=
Disallow: *?do=getNewComment
Disallow: *?do=getLastComment
Disallow: ?page=
Disallow: /user/*
Disallow: /userdir/*
Disallow: *?do=metadata
Disallow: page__prune
Disallow: /img/*
Disallow: st
Disallow: *page__sort
Disallow: *?view=list
Disallow: *?view=grid
Disallow: csrfKey=
Disallow: ?browse=1
Disallow: ?&page=
Disallow: *page__hl
Disallow: *page__show
Disallow: page__p__
Disallow: page__pid__
Disallow: *?do=edit
Disallow: ?ct=
Disallow: ?lightbox=
Disallow: *?context=new
Disallow: *?do=download
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /files/submit/?do=submit*
Disallow: *fromLogout=
Disallow: *fromLogin=
Disallow: *?changelog=
Disallow: *?do=add
Disallow: *?do=showReactionsComment
Disallow: images.xml
Disallow: *?do=embed
Disallow: page__fromsearch
Disallow: ?_fromLogin=
Disallow: *?do=newVersion
Disallow: *?advancedSearchForm
Disallow: *?do=getFirstComment
Disallow: /forum/201/
Disallow: /forum/277/
Disallow: page__fromsearch__
Disallow: ?t=
Disallow: *?sort=newest
Disallow: *tab=reviews
Disallow: *?forcePrint=
Disallow: *?tab=comments
Disallow: *?do=findReview
Disallow: *?failedReply
Disallow: *-
Host: ваш хост
Sitemap: ссылка на sitemap

Цитата

19 мартаMar 19

Disallow: /forum/201/ - ну и подобное вам точно не нужно :)

Цитата

20 мартаMar 20

7 часов назад, Desti said:
Disallow: ?_fromLogin=

Вот только на подобного рода записи, яндекс ругается, потому что начало не с / или *

Цитата

20 мартаMar 20

11 часов назад, aLEX49566 said:
яндекс ругается

ни на что он не ругается

Цитата

20 мартаMar 20

В моем случае именно на эти строки ругался яндекс-магия не иначе

Цитата

20 мартаMar 20

Кто мешает проверить еще раз?

Цитата

21 мартаMar 21

Есть одна мысль, почему ошибку выдавал яндекс, попробую вечером

Edited 21 мартаMar 21 by aLEX49566

Цитата

27 апреляApr 27

On 20.03.2025 at 15:22, Desti said:
ни на что он не ругается

28	Disallow: ?tab=	Правило начинается не с символа '/' и не с символа '*'
31	Disallow: ?sortby=	Правило начинается не с символа '/' и не с символа '*'
34	Disallow: page__st__	Правило начинается не с символа '/' и не с символа '*'
35	Disallow: ?do=rotate	Правило начинается не с символа '/' и не с символа '*'
36	Disallow: page__view	Правило начинается не с символа '/' и не с символа '*'
38	Disallow: filter=	Правило начинается не с символа '/' и не с символа '*'
41	Disallow: ?page=	Правило начинается не с символа '/' и не с символа '*'
45	Disallow: page__prune	Правило начинается не с символа '/' и не с символа '*'
47	Disallow: st	Правило начинается не с символа '/' и не с символа '*'
51	Disallow: csrfKey=	Правило начинается не с символа '/' и не с символа '*'
52	Disallow: ?browse=1	Правило начинается не с символа '/' и не с символа '*'
53	Disallow: ?&page=	Правило начинается не с символа '/' и не с символа '*'
56	Disallow: page__p__	Правило начинается не с символа '/' и не с символа '*'
57	Disallow: page__pid__	Правило начинается не с символа '/' и не с символа '*'
59	Disallow: ?ct=	Правило начинается не с символа '/' и не с символа '*'
60	Disallow: ?lightbox=	Правило начинается не с символа '/' и не с символа '*'
71	Disallow: images.xml	Правило начинается не с символа '/' и не с символа '*'
73	Disallow: page__fromsearch	Правило начинается не с символа '/' и не с символа '*'
74	Disallow: ?_fromLogin=	Правило начинается не с символа '/' и не с символа '*'
78	Disallow: page__fromsearch__	Правило начинается не с символа '/' и не с символа '*'
79	Disallow: ?t=	Правило начинается не с символа '/' и не с символа '*'

Цитата

27 апреляApr 27

1 час назад, macar said:
28
Disallow: ?tab=
Правило начинается не с символа '/' и не с символа '*'
31
Disallow: ?sortby=
Правило начинается не с символа '/' и не с символа '*'
34
Disallow: page__st__
Правило начинается не с символа '/' и не с символа '*'
35
Disallow: ?do=rotate
Правило начинается не с символа '/' и не с символа '*'
36
Disallow: page__view
Правило начинается не с символа '/' и не с символа '*'
38
Disallow: filter=
Правило начинается не с символа '/' и не с символа '*'
41
Disallow: ?page=
Правило начинается не с символа '/' и не с символа '*'
45
Disallow: page__prune
Правило начинается не с символа '/' и не с символа '*'
47
Disallow: st
Правило начинается не с символа '/' и не с символа '*'
51
Disallow: csrfKey=
Правило начинается не с символа '/' и не с символа '*'
52
Disallow: ?browse=1
Правило начинается не с символа '/' и не с символа '*'
53
Disallow: ?&page=
Правило начинается не с символа '/' и не с символа '*'
56
Disallow: page__p__
Правило начинается не с символа '/' и не с символа '*'
57
Disallow: page__pid__
Правило начинается не с символа '/' и не с символа '*'
59
Disallow: ?ct=
Правило начинается не с символа '/' и не с символа '*'
60
Disallow: ?lightbox=
Правило начинается не с символа '/' и не с символа '*'
71
Disallow: images.xml
Правило начинается не с символа '/' и не с символа '*'
73
Disallow: page__fromsearch
Правило начинается не с символа '/' и не с символа '*'
74
Disallow: ?_fromLogin=
Правило начинается не с символа '/' и не с символа '*'
78
Disallow: page__fromsearch__
Правило начинается не с символа '/' и не с символа '*'
79
Disallow: ?t=
Правило начинается не с символа '/' и не с символа '*'

Вот и у меня тоже самое. А если весь роботс заменить на то, что здесь ?

На то, что у дести

Цитата

27 апреляApr 27

Disallow: *?view=list

Disallow: *?view=grid

Disallow: csrfKey=

Disallow: ?browse=1

Disallow: ?&page=

Disallow: *page__hl

Disallow: *page__show

Disallow: page__p__

Disallow: page__pid__

Disallow: *?do=edit

Disallow: ?ct=

Disallow: ?lightbox=

Disallow: *?context=new

Disallow: *?do=download

Disallow: filter=

Disallow: /discover/

Disallow: /leaderboard/

Disallow: /files/submit/?do=submit*

Disallow: *fromLogout=

Disallow: *fromLogin=

Disallow: ?_fromLogin=

Disallow: *?changelog=

Disallow: *?do=add

Disallow: images.xml

Disallow: *?do=showReactionsComment

Disallow: *?do=embed

Disallow: page__fromsearch

Disallow: *?do=newVersion

Disallow: *?advancedSearchForm

Disallow: *?do=getFirstComment

Disallow: page__fromsearch__

Disallow: ?t=

Disallow: *?sort=newest

Disallow: *tab=reviews

Disallow: *?forcePrint=

Disallow: *?tab=comments

Disallow: *?do=findReview

Disallow: *?failedReply

Disallow: *-

Disallow: /pastleaders/

Disallow: /startTopic/

Disallow: /markallread/

Disallow: /staff/

Disallow: /cookies/

Disallow: /403.html

Disallow: /404.html

Edited 27 апреляApr 27 by Donjuan

Цитата

27 апреляApr 27

39 минут назад, aLEX49566 said:
Вот и у меня тоже самое. А если весь роботс заменить на то, что здесь ?
На то, что у дести

Это как раз и отчет яндекса о том роботе что здесь

Цитата

27 апреляApr 27

Только что, macar said:
Это как раз и отчет яндекса о том роботе что здесь

Я себе так сделал. Ошибок нет.

Disallow: /auction/
Disallow: /applications/
Disallow: /notifications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /settings/
Disallow: /modcp/
Disallow: /bookmarks/
Disallow: /contact/
Disallow: /messenger/
Disallow: /activity/
Disallow: *?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: *?sortby=*
Disallow: /profile/*
Disallow: /clients/info/
Disallow: *page__st__*
Disallow: *?do=rotate*
Disallow: *page__view*
Disallow: *?do=findComment
Disallow: *?do=getNewComment
Disallow: *?do=getLastComment
Disallow: *?page=*
Disallow: /user/*
Disallow: /userdir/*
Disallow: *?do=metadata
Disallow: *page__prune*
Disallow: /img/*
Disallow: *__st__*
Disallow: *page__sort
Disallow: *?view=list
Disallow: *?view=grid
Disallow: *csrfKey=*
Disallow: *?browse=1*
Disallow: *?&page=*
Disallow: *page__hl
Disallow: *page__show
Disallow: *page__p__*
Disallow: *page__pid__*
Disallow: *?do=edit
Disallow: *?ct=*
Disallow: *?lightbox=*
Disallow: *?context=new
Disallow: *?do=download
Disallow: *filter=*
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /files/submit/?do=submit*
Disallow: *fromLogout=
Disallow: *fromLogin=
Disallow: *?_fromLogin=*
Disallow: *?changelog=
Disallow: *?do=add
Disallow: *images.xml*
Disallow: *?do=showReactionsComment
Disallow: *?do=embed
Disallow: *page__fromsearch*
Disallow: *?do=newVersion
Disallow: *?advancedSearchForm
Disallow: *?do=getFirstComment
Disallow: /forum/201/
Disallow: /forum/277/
Disallow: *page__fromsearch__*
Disallow: *?t=*
Disallow: *?sort=newest
Disallow: *tab=reviews
Disallow: *?forcePrint=
Disallow: *?tab=comments
Disallow: *?do=findReview
Disallow: *?failedReply
Disallow: *-
Disallow: /startTopic/
Disallow: /markallread/
Disallow: /staff/
Disallow: /*ref=
Disallow: /pastleaders/
Disallow: /cookies/
Disallow: /403.html
Disallow: /404.html

Немного дополнив то, что выше

Цитата

macar
1

27 апреляApr 27

38 минут назад, aLEX49566 said:
Немного дополнив то, что выше

Этот вариант без ошибок.

Цитата

27 апреляApr 27

2 часа назад, aLEX49566 said:
Disallow: /forum/201/
Disallow: /forum/277/

Это только удалить надо

Цитата

12 маяMay 12

On 27.04.2025 at 22:47, aLEX49566 said:

Я себе так сделал. Ошибок нет.

Disallow: /auction/
Disallow: /applications/
Disallow: /notifications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /settings/
Disallow: /modcp/
Disallow: /bookmarks/
Disallow: /contact/
Disallow: /messenger/
Disallow: /activity/
Disallow: *?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: *?sortby=*
Disallow: /profile/*
Disallow: /clients/info/
Disallow: *page__st__*
Disallow: *?do=rotate*
Disallow: *page__view*
Disallow: *?do=findComment
Disallow: *?do=getNewComment
Disallow: *?do=getLastComment
Disallow: *?page=*
Disallow: /user/*
Disallow: /userdir/*
Disallow: *?do=metadata
Disallow: *page__prune*
Disallow: /img/*
Disallow: *__st__*
Disallow: *page__sort
Disallow: *?view=list
Disallow: *?view=grid
Disallow: *csrfKey=*
Disallow: *?browse=1*
Disallow: *?&page=*
Disallow: *page__hl
Disallow: *page__show
Disallow: *page__p__*
Disallow: *page__pid__*
Disallow: *?do=edit
Disallow: *?ct=*
Disallow: *?lightbox=*
Disallow: *?context=new
Disallow: *?do=download
Disallow: *filter=*
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /files/submit/?do=submit*
Disallow: *fromLogout=
Disallow: *fromLogin=
Disallow: *?_fromLogin=*
Disallow: *?changelog=
Disallow: *?do=add
Disallow: *images.xml*
Disallow: *?do=showReactionsComment
Disallow: *?do=embed
Disallow: *page__fromsearch*
Disallow: *?do=newVersion
Disallow: *?advancedSearchForm
Disallow: *?do=getFirstComment
Disallow: /forum/201/
Disallow: /forum/277/
Disallow: *page__fromsearch__*
Disallow: *?t=*
Disallow: *?sort=newest
Disallow: *tab=reviews
Disallow: *?forcePrint=
Disallow: *?tab=comments
Disallow: *?do=findReview
Disallow: *?failedReply
Disallow: *-
Disallow: /startTopic/
Disallow: /markallread/
Disallow: /staff/
Disallow: /*ref=
Disallow: /pastleaders/
Disallow: /cookies/
Disallow: /403.html
Disallow: /404.html

Немного дополнив то, что выше

С данным роботом ни только ошибки уходят но и многие страницы из поисковиков. Ну его к х.ям! Толь это троллинг был, толь автор не понимал, что делал

Цитата

13 маяMay 13

20 часов назад, aLEX49566 said:
С данным роботом ни только ошибки уходят но и многие страницы из поисковиков

Сегодня Яша сводку прислал, ошибки с get параметрами остались, количество пока не смотрел, а то что вываливаются из поиска страницы это точно, было в поиске примерно 58000, стало 31000. Может конечно мусор отеялся.

посмотрел ошибки. ругается на get параметры:

page-2

do

hl

Цитата

13 маяMay 13

44 минуты назад, macar said:
Может конечно мусор отеялся

В моем случае не мусор. Себе вернул как было до этого

Цитата

16 маяMay 16

Поделитесь robots, у меня тоже на get ругается вебмастер.

User-agent: *

# Disallow directory

Disallow: /api/

Disallow: /applications/

Disallow: /cgi-bin/

Disallow: /datastore/

Disallow: /plugins/

Disallow: /system/

Disallow: /applications/botblackhole/*

#Disallow files

Disallow: /403error.php

Disallow: /404error.php

Disallow: /500error.php

Disallow: /Credits.txt

Disallow: /error.php

Disallow: /upgrading.html

# Querystring

Disallow: /?tab=*

Disallow: /index.php?*

Disallow: /*?app=*

Disallow: /*sortby=*

Disallow: /*/?do=download

Disallow: /profile/*/?do=*

Disallow: /profile/*/content/

Disallow: /*?do=add

Disallow: /*?do=email

Disallow: /*?do=getNewComment

Disallow: /*?do=getLastComment

Disallow: /*?do=findComment*

Disallow: /*?do=showReactions

Disallow: /*?filter=

Disallow: /*?do=

Disallow: /*ref=

Disallow: /*?forumId*

# Allow specific parts

Allow: /applications/core/interface/imageproxy/imageproxy.php?img=*

Добавил вот это:

Disallow: /*?tab=comments
Disallow: /*?tab=reviews

Цитата

Sign In

Robots.txt для IPS4

Featured Replies

Лучшие авторы в теме

Популярные дни

Most Popular Posts

anomal3

Redneck

ram108

Posted Images

Join the conversation

Последние посетители 0

Лучшие авторы в теме

Популярные дни

Most Popular Posts

anomal3

Redneck

ram108

Posted Images

Account

Navigation

Search

Configure browser push notifications

Chrome (Android)

Chrome (Desktop)

Safari (iOS 16.4+)

Safari (macOS)

Edge (Android)

Edge (Desktop)

Firefox (Android)

Firefox (Desktop)