komosa получил реакцию от
Nikola_Telegin в Robots.txt для IPS4
Всем доброго времени суток. Составил свой robots.txt
Делюсь). Закрыл полностью все не нужное. Оставил только контент.
User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/
Disallow: /tags/
Disallow: /notifications/
Disallow: /messenger/
Disallow: /*/?tab=*
Disallow: /lostpassword/
Disallow: /*?app=*
Disallow: /index.php?*
Disallow: /*/submit/?id=*
Disallow: /*/?filter=*
Disallow: /markallread/
Disallow: /*/?do=*
Disallow: /*/?_fromLogin=*
Host: site.site
Sitemap: site.site/sitemap.php
komosa получил реакцию от Nikola_Telegin в Robots.txt для IPS4