Staff92 Опубликовано 3 июня, 2015 Поделиться Опубликовано 3 июня, 2015 Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
IAF Опубликовано 3 июня, 2015 Поделиться Опубликовано 3 июня, 2015 Установил сейчас ipb версия 4.0.7 и как сегодня заметил, что в самом архиве что на сайте после установки нет файла robots.txt, у всех так? скиньте пожалуйста файл каким он должен быть. У всех так. Разработчики считают, что в нём нет необходимости. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Staff92 Опубликовано 3 июня, 2015 Автор Поделиться Опубликовано 3 июня, 2015 У всех так. Разработчики считают, что в нём нет необходимости. мне просто поисковики выкатили алярм, вот я и думал что срочно нужно самому добавлять. Кстати в ipbmafia он есть, правда не знаю теперь на сколько он правильный и вообще востребованный. Кто то себе заливал? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sanshalay Опубликовано 3 июня, 2015 Поделиться Опубликовано 3 июня, 2015 Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Staff92 Опубликовано 3 июня, 2015 Автор Поделиться Опубликовано 3 июня, 2015 странно я вижу группу гости, но вот запрет или разрешение на посещение роботами нет( Можно скрин? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sanshalay Опубликовано 4 июня, 2015 Поделиться Опубликовано 4 июня, 2015 Гости и поисковики это одно и то же в IPS4 Staff92 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Cheshir Опубликовано 9 июня, 2015 Поделиться Опубликовано 9 июня, 2015 Теперь вместо robots.txt на странице приложений вы можете ограничить гостям (и поисковикам) доступ к определённым модулям. Это намного удобнее, чем писать robots.txt Не соглашусь, может быть буржуинам и одно и тоже, но я лично, против того, чтобы пауки лазили по профилям, не люблю, когда в поиске вылезают страницы пользователей, списки пользователей и иная личная информация, доступная только авторизованным пользователям. Добавил самостоятельно: User-agent: * Disallow: /activity/* Disallow: /admin/* Disallow: /attachments/* Disallow: /contact/* Disallow: /followed/* Disallow: /ignore/* Disallow: /lostpassword/* Disallow: /profile/* Disallow: /register/* Disallow: /search/* Disallow: /settings/* Disallow: /statuses/* Disallow: /terms/* Disallow: /messenger/* Disallow: /modcp/* Disallow: /news/* Disallow: /notifications/* Disallow: /online/* Disallow: /*/submit/* Disallow: /?* Crawl-delay: 10 Host: domen.ru Sitemap: http://domen.ru/sitemap.php seobot и zavsegda 2 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Cheshir Опубликовано 9 июня, 2015 Поделиться Опубликовано 9 июня, 2015 Disallow: /news/* Это название базы данных IP.Content, собственно либо блокируем доступ к материалам базы И.П.Контента, если дублируются на форуме, либо наоборот, те темы, в которые дублируется статья из ИП.Контента. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
chatka Опубликовано 27 февраля, 2016 Поделиться Опубликовано 27 февраля, 2016 Знатоки, подскажите, какой же использовать "правильный" robots.txt? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
chatka Опубликовано 4 марта, 2016 Поделиться Опубликовано 4 марта, 2016 В общем, пока сделал такой robots.txt User-agent: * Disallow: /profile/ User-agent: Googlebot-Image Disallow: Allow: /* User-agent: Mediapartners-Google* Disallow: User-Agent: YandexDirect Disallow: User-agent: Slurp Crawl-delay: 60 Host: Ваш домен Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 4 марта, 2016 Поделиться Опубликовано 4 марта, 2016 Сделали и хорошо! robots.txt не нужен читайте на https://community.invisionpower.com/topic/406927-robotstxt/#comment-2522296. MrHaack 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.