Jump to content

Robots.txt


Silence

Recommended Posts

Robots.txt


Потому что я не мог найти много информации на форуме для хорошего файла robots.txt.

Я пытаюсь собрать всю информацию, которую я могу найти на invisioncommunity и собственный опыт, и сделал из нее файл robots.txt.

Хороший SEO заключается в том, чтобы снизить показатель отказов, сделать качественные ссылки и не создавать дублирующий контент (ваших собственных или других сайтов) в google.

2.png

Важная информация

Включите friendly URLs! Это можно найти по адресу: Система> Оптимизация в поисковых системах.  
В противном случае этот файл robots.txt удалит все ваши страницы из Google. 
Загрузите .htaccess и поместите его в корневой каталог.

3.png


 

Link to comment
Share on other sites

2 часа назад, TemKa_SD сказал:

Host нету почему-то (

Да вообще левый

44 минуты назад, BrunoCreed сказал:

А для 3.4 есть? 

Самому надо делать, самому. Заходишь в Я.вебмастер, смотришь, что он там наиндексировал и не нужное запрещаешь.

Link to comment
Share on other sites

  • 3 weeks later...
В 10.07.2017 в 17:09, emonkmp сказал:

upload ready no work bro

upload ready no work bro Capture.JPG

добавь точну в начале
htaccess -> .htaccess

Link to comment
Share on other sites

  • 2 weeks later...
В 08.07.2017 в 10:52, kgb сказал:

Самому надо делать, самому. Заходишь в Я.вебмастер, смотришь, что он там наиндексировал и не нужное запрещаешь.

Абсолютно верно!

Вот именно на основе яндекс вебмастера я и сделал свой Robots.txt. Для этого не нужно плагин ставить вообще. Пример привожу тут:

[blockquote]

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: */topmembers/
Disallow: */pastleaders/
Disallow: */1-community-calendar/
Disallow: */online/
Disallow: *do=email
Disallow: *do=embed
Disallow: *app=core

User-agent: Yandex
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: */topmembers/
Disallow: */pastleaders/
Disallow: */1-community-calendar/
Disallow: */online/
Disallow: *do=email
Disallow: *do=embed
Disallow: *app=core
Sitemap: https://ecig-forum.ru/sitemap.php
Host: https://ecig-forum.ru/

[//blockquote]

Link to comment
Share on other sites

On 8/7/2017 at 5:53 PM, gudman1 said:

Абсолютно верно!

Вот именно на основе яндекс вебмастера я и сделал свой Robots.txt. Для этого не нужно плагин ставить вообще. Пример привожу тут:

[blockquote]

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: */topmembers/
Disallow: */pastleaders/
Disallow: */1-community-calendar/
Disallow: */online/
Disallow: *do=email
Disallow: *do=embed
Disallow: *app=core

User-agent: Yandex
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: */topmembers/
Disallow: */pastleaders/
Disallow: */1-community-calendar/
Disallow: */online/
Disallow: *do=email
Disallow: *do=embed
Disallow: *app=core
Sitemap: https://ecig-forum.ru/sitemap.php
Host: https://ecig-forum.ru/

[//blockquote]

how to upload file

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...