Jump to content

Отсутствует robots.txt в 4.0.7


 Share

Recommended Posts

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

Link to comment
Share on other sites

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

​У всех так.

Разработчики считают, что в нём нет необходимости.

Link to comment
Share on other sites

​У всех так.

Разработчики считают, что в нём нет необходимости.

​мне просто поисковики выкатили алярм, вот я и думал что срочно нужно самому добавлять. Кстати в ipbmafia он есть, правда не знаю теперь на сколько он правильный и вообще востребованный.

Кто то себе заливал?

Link to comment
Share on other sites

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

Link to comment
Share on other sites

странно я вижу группу гости, но вот запрет или разрешение на посещение роботами нет( Можно скрин?

Link to comment
Share on other sites

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

​Не соглашусь, может быть буржуинам и одно и тоже, но я лично, против того, чтобы пауки лазили по профилям, не люблю, когда в поиске вылезают страницы пользователей, списки пользователей и иная личная информация, доступная только авторизованным пользователям.

Добавил самостоятельно:

User-agent: *
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: /*/submit/*
Disallow: /?*

Crawl-delay: 10
Host: domen.ru
Sitemap: http://domen.ru/sitemap.php

 

Link to comment
Share on other sites

Disallow: /news/*

Это название базы данных IP.Content, собственно либо блокируем доступ к материалам базы И.П.Контента, если дублируются на форуме, либо наоборот, те темы, в которые дублируется статья из ИП.Контента.

Link to comment
Share on other sites

  • 8 months later...

В общем, пока сделал такой robots.txt

User-agent: *
Disallow: /profile/
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google*
Disallow:
User-Agent: YandexDirect
Disallow:
User-agent: Slurp
Crawl-delay: 60
Host: Ваш домен

 

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Ваша ссылка была автоматически строена.   Отображать как обычную ссылку

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...