Jump to content

Отсутствует robots.txt в 4.0.7

Featured Replies

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/
Share on other sites

Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть.

​У всех так.

Разработчики считают, что в нём нет необходимости.

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88317
Share on other sites

​У всех так.

Разработчики считают, что в нём нет необходимости.

​мне просто поисковики выкатили алярм, вот я и думал что срочно нужно самому добавлять. Кстати в ipbmafia он есть, правда не знаю теперь на сколько он правильный и вообще востребованный.

Кто то себе заливал?

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88321
Share on other sites

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88329
Share on other sites

странно я вижу группу гости, но вот запрет или разрешение на посещение роботами нет( Можно скрин?

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88330
Share on other sites

Гости и поисковики это одно и то же в IPS4

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88337
Share on other sites

Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt

​Не соглашусь, может быть буржуинам и одно и тоже, но я лично, против того, чтобы пауки лазили по профилям, не люблю, когда в поиске вылезают страницы пользователей, списки пользователей и иная личная информация, доступная только авторизованным пользователям.

Добавил самостоятельно:

User-agent: *
Disallow: /activity/*
Disallow: /admin/*
Disallow: /attachments/*
Disallow: /contact/*
Disallow: /followed/*
Disallow: /ignore/*
Disallow: /lostpassword/*
Disallow: /profile/*
Disallow: /register/*
Disallow: /search/*
Disallow: /settings/*
Disallow: /statuses/*
Disallow: /terms/*
Disallow: /messenger/*
Disallow: /modcp/*
Disallow: /news/*
Disallow: /notifications/*
Disallow: /online/*
Disallow: /*/submit/*
Disallow: /?*

Crawl-delay: 10
Host: domen.ru
Sitemap: http://domen.ru/sitemap.php

 

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88623
Share on other sites
Disallow: /news/*

Это название базы данных IP.Content, собственно либо блокируем доступ к материалам базы И.П.Контента, если дублируются на форуме, либо наоборот, те темы, в которые дублируется статья из ИП.Контента.

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=88625
Share on other sites
  • 8 месяцев спустя...

Знатоки, подскажите, какой же использовать "правильный" robots.txt?

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102199
Share on other sites

В общем, пока сделал такой robots.txt

User-agent: *
Disallow: /profile/
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google*
Disallow:
User-Agent: YandexDirect
Disallow:
User-agent: Slurp
Crawl-delay: 60
Host: Ваш домен

 

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102461
Share on other sites

Сделали и хорошо! robots.txt не нужен читайте на https://community.invisionpower.com/topic/406927-robotstxt/#comment-2522296.

Link to comment
https://ipbmafia.ru/topic/11564-otsutstvuet-robotstxt-v-407/?&do=findComment&comment=102464
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.


Guest
Ответить в этой теме...

Последние посетители 0

  • No registered users viewing this page.