Redneck

Robots.txt для IPS4

В теме 19 сообщений

Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

 

Heavenanvil понравился пост

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет указания на хост и карту сайта, или это не обязательно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 часа назад, Flasher сказал:

Нет указания на хост и карту сайта, или это не обязательно?

надо указывать, просто не стал писать. в конце прописываем:

Sitemap: http://сайт.ru/sitemap.php

Host: сайт.ru

Если сайт на https, то это обязательно надо указать и в карте и в хосте:

Sitemap: https://сайт.ru/sitemap.php

Host: https://сайт.ru

 

Heavenanvil понравился пост

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Но of сайте написано, что он не требуется.

Цитата

We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, Sipsb сказал:

Но of сайте написано, что он не требуется.

 

да, но поисковики его просят :) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 30.01.2016 в 19:34, Redneck сказал:

User-agent: Yandex

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще:

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.php

 

Safety1st понравился пост

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, ram108 сказал:

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции

не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано :) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Подскажите, пожалуйста, куда заливать robots.txt?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
7 минут назад, Genamalugin сказал:

Подскажите, пожалуйста, куда заливать robots.txt?

в корень, туда где лежат файлы вашего форума

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
11 минут назад, killer911 сказал:


Вопрос: а зачем прятать /search/?

если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)

https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 минуты назад, WOLF сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 минут назад, killer911 сказал:

Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?

Нет

killer911 понравился пост

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Немного полученного опыта:

Если установлены "страницы", нужно закрыть форму отправки статьи на емеил.

Disallow: /pages/*/*/*/?do=email
Disallow: /pages/*/*/?do=email
Disallow: /pages/*/?do=email

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу