Posted 30 января, 20168 yr comment_100107 Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков User-agent: * Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ User-agent: Yandex Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/ Share on other sites Больше вариантов
5 июля, 20168 yr comment_109489 Нет указания на хост и карту сайта, или это не обязательно? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109489 Share on other sites Больше вариантов
5 июля, 20168 yr Author comment_109494 4 часа назад, Flasher сказал: Нет указания на хост и карту сайта, или это не обязательно? надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitemap: https://сайт.ru/sitemap.php Host: https://сайт.ru Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109494 Share on other sites Больше вариантов
5 июля, 20168 yr comment_109495 Но of сайте написано, что он не требуется. Цитата We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109495 Share on other sites Больше вариантов
5 июля, 20168 yr Author comment_109496 6 минут назад, Sipsb сказал: Но of сайте написано, что он не требуется. да, но поисковики его просят Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=109496 Share on other sites Больше вариантов
11 октября, 20168 yr comment_113609 В 30.01.2016 в 19:34, Redneck сказал: User-agent: Yandex Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.php Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=113609 Share on other sites Больше вариантов
11 октября, 20168 yr Author comment_113610 Только что, ram108 сказал: Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=113610 Share on other sites Больше вариантов
28 октября, 20168 yr comment_114897 А типа приложений не нужно указывать "/links/" не нужно указывать? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=114897 Share on other sites Больше вариантов
28 октября, 20168 yr comment_114904 Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса. Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=114904 Share on other sites Больше вариантов
19 января, 20177 yr comment_120544 ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других. Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=120544 Share on other sites Больше вариантов
19 января, 20177 yr comment_120561 Список плохих, плохих ботов для маньяков robots.txt robots.txt Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=120561 Share on other sites Больше вариантов
6 апреля, 20177 yr comment_126335 Подскажите, пожалуйста, куда заливать robots.txt? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=126335 Share on other sites Больше вариантов
6 апреля, 20177 yr comment_126337 7 минут назад, Genamalugin сказал: Подскажите, пожалуйста, куда заливать robots.txt? в корень, туда где лежат файлы вашего форума Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=126337 Share on other sites Больше вариантов
1 июня, 20177 yr comment_129701 Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129701 Share on other sites Больше вариантов
1 июня, 20177 yr comment_129702 11 минут назад, killer911 сказал: Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129702 Share on other sites Больше вариантов
1 июня, 20177 yr comment_129703 3 минуты назад, WOLF сказал: https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129703 Share on other sites Больше вариантов
1 июня, 20177 yr comment_129704 5 минут назад, killer911 сказал: Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Нет Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=129704 Share on other sites Больше вариантов
8 июня, 20177 yr comment_130277 Немного полученного опыта: Если установлены "страницы", нужно закрыть форму отправки статьи на емеил. Disallow: /pages/*/*/*/?do=email Disallow: /pages/*/*/?do=email Disallow: /pages/*/?do=email Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=130277 Share on other sites Больше вариантов
23 июня, 20177 yr comment_131178 С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама! Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=131178 Share on other sites Больше вариантов
16 февраля, 20186 yr comment_143454 интересно, а почему =do не закрываете? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143454 Share on other sites Больше вариантов
19 февраля, 20186 yr comment_143592 у меня в корне нет никакого robots.txt но при переходе по ссылке site.ru/robots.txt открывается страница с содержимым User-agent: * Disallow: / Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143592 Share on other sites Больше вариантов
26 февраля, 20186 yr comment_143908 а что за хостинг такой волшебный Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=143908 Share on other sites Больше вариантов
16 мая, 20186 yr comment_147714 яндекс вебмастер показывает Загруженых 1 930 161 страник, когда в поиске всего 198 820 Подскажите, что не так в моём роботсе? User-agent: * # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* User-agent: Yandex # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147714 Share on other sites Больше вариантов
16 мая, 20186 yr comment_147716 1 час назад, Ректор сказал: Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Я понял правильно, вы это забыли заменить? или не хотите палить сайт? Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147716 Share on other sites Больше вариантов
16 мая, 20186 yr comment_147717 просто заменил на слово сайт тут Link to comment https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=147717 Share on other sites Больше вариантов
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.