Posted 3 июня, 20159 yr comment_88316 Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть. Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/ Share on other sites Больше вариантов
3 июня, 20159 yr comment_88317 Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть. У всех так. Разработчики считают, что в нём нет необходимости. Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88317 Share on other sites Больше вариантов
3 июня, 20159 yr Author comment_88321 У всех так. Разработчики считают, что в нём нет необходимости. мне просто поисковики выкатили алярм, вот я и думал что срочно нужно самому добавлять. Кстати в ipbmafia он есть, правда не знаю теперь на сколько он правильный и вообще востребованный. Кто то себе заливал? Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88321 Share on other sites Больше вариантов
3 июня, 20159 yr comment_88329 Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88329 Share on other sites Больше вариантов
3 июня, 20159 yr Author comment_88330 странно я вижу группу гости, но вот запрет или разрешение на посещение роботами нет( Можно скрин? Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88330 Share on other sites Больше вариантов
4 июня, 20159 yr comment_88337 Гости и поисковики это одно и то же в IPS4 Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88337 Share on other sites Больше вариантов
9 июня, 20159 yr comment_88623 Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt Не соглашусь, может быть буржуинам и одно и тоже, но я лично, против того, чтобы пауки лазили по профилям, не люблю, когда в поиске вылезают страницы пользователей, списки пользователей и иная личная информация, доступная только авторизованным пользователям. Добавил самостоятельно: User-agent: * Disallow: /activity/* Disallow: /admin/* Disallow: /attachments/* Disallow: /contact/* Disallow: /followed/* Disallow: /ignore/* Disallow: /lostpassword/* Disallow: /profile/* Disallow: /register/* Disallow: /search/* Disallow: /settings/* Disallow: /statuses/* Disallow: /terms/* Disallow: /messenger/* Disallow: /modcp/* Disallow: /news/* Disallow: /notifications/* Disallow: /online/* Disallow: /*/submit/* Disallow: /?* Crawl-delay: 10 Host: domen.ru Sitemap: http://domen.ru/sitemap.php Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88623 Share on other sites Больше вариантов
9 июня, 20159 yr comment_88625 Disallow: /news/* Это название базы данных IP.Content, собственно либо блокируем доступ к материалам базы И.П.Контента, если дублируются на форуме, либо наоборот, те темы, в которые дублируется статья из ИП.Контента. Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88625 Share on other sites Больше вариантов
27 февраля, 20168 yr comment_102199 Знатоки, подскажите, какой же использовать "правильный" robots.txt? Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102199 Share on other sites Больше вариантов
4 марта, 20168 yr comment_102461 В общем, пока сделал такой robots.txt User-agent: * Disallow: /profile/ User-agent: Googlebot-Image Disallow: Allow: /* User-agent: Mediapartners-Google* Disallow: User-Agent: YandexDirect Disallow: User-agent: Slurp Crawl-delay: 60 Host: Ваш домен Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102461 Share on other sites Больше вариантов
4 марта, 20168 yr comment_102464 Сделали и хорошо! robots.txt не нужен читайте на https://community.invisionpower.com/topic/406927-robotstxt/#comment-2522296. Link to comment https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102464 Share on other sites Больше вариантов
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.