Отсутствует robots.txt в 4.0.7

[Staff92]

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

[IAF]

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

​У всех так.

Разработчики считают, что в нём нет необходимости.

[Staff92]

​У всех так.

Разработчики считают, что в нём нет необходимости.

​мне просто поисковики выкатили алярм, вот я и думал что срочно нужно самому добавлять. Кстати в ipbmafia он есть, правда не знаю теперь на сколько он правильный и вообще востребованный.

Кто то себе заливал?

[Sanshalay]

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

[Staff92]

странно я вижу группу гости, но вот запрет или разрешение на посещение роботами нет( Можно скрин?

[Sanshalay]

Гости и поисковики это одно и то же в IPS4

[Cheshir]

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

​Не соглашусь, может быть буржуинам и одно и тоже, но я лично, против того, чтобы пауки лазили по профилям, не люблю, когда в поиске вылезают страницы пользователей, списки пользователей и иная личная информация, доступная только авторизованным пользователям.

Добавил самостоятельно:

User-agent: *
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: /*/submit/*
Disallow: /?*

Crawl-delay: 10
Host: domen.ru
Sitemap: http://domen.ru/sitemap.php

 

[Cheshir]

Disallow: /news/*

Это название базы данных IP.Content, собственно либо блокируем доступ к материалам базы И.П.Контента, если дублируются на форуме, либо наоборот, те темы, в которые дублируется статья из ИП.Контента.

[chatka]

Знатоки, подскажите, какой же использовать "правильный" robots.txt?

[chatka]

В общем, пока сделал такой robots.txt

User-agent: *
Disallow: /profile/
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google*
Disallow:
User-Agent: YandexDirect
Disallow:
User-agent: Slurp
Crawl-delay: 60
Host: Ваш домен

 

[Sipsb]

Сделали и хорошо! robots.txt не нужен читайте на https://community.invisionpower.com/topic/406927-robotstxt/#comment-2522296.