Posted 30 января, 20169 yr Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков User-agent: * Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ User-agent: Yandex Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/
5 июля, 20168 yr Author On 05.07.2016 at 04:52, Flasher said: Нет указания на хост и карту сайта, или это не обязательно? надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitemap: https://сайт.ru/sitemap.php Host: https://сайт.ru
5 июля, 20168 yr Но of сайте написано, что он не требуется. Цитата We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway
5 июля, 20168 yr Author On 05.07.2016 at 10:06, Sipsb said: Но of сайте написано, что он не требуется. да, но поисковики его просят
11 октября, 20168 yr On 30.01.2016 at 16:34, Redneck said: User-agent: Yandex Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.php
11 октября, 20168 yr Author On 11.10.2016 at 16:59, ram108 said: Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано
28 октября, 20168 yr Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.
19 января, 20178 yr ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.
6 апреля, 20177 yr On 06.04.2017 at 10:04, Genamalugin said: Подскажите, пожалуйста, куда заливать robots.txt? в корень, туда где лежат файлы вашего форума
1 июня, 20177 yr Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)
1 июня, 20177 yr On 01.06.2017 at 06:17, killer911 said: Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html
1 июня, 20177 yr On 01.06.2017 at 06:28, WOLF said: https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?
1 июня, 20177 yr On 01.06.2017 at 06:37, killer911 said: Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Нет
8 июня, 20177 yr Немного полученного опыта: Если установлены "страницы", нужно закрыть форму отправки статьи на емеил. Disallow: /pages/*/*/*/?do=email Disallow: /pages/*/*/?do=email Disallow: /pages/*/?do=email
23 июня, 20177 yr С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!
19 февраля, 20187 yr у меня в корне нет никакого robots.txt но при переходе по ссылке site.ru/robots.txt открывается страница с содержимым User-agent: * Disallow: / Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше
16 мая, 20186 yr яндекс вебмастер показывает Загруженых 1 930 161 страник, когда в поиске всего 198 820 Подскажите, что не так в моём роботсе? User-agent: * # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* User-agent: Yandex # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php
16 мая, 20186 yr On 16.05.2018 at 11:45, Ректор said: Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Я понял правильно, вы это забыли заменить? или не хотите палить сайт?
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.