Posted 30 января, 20169 yr Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков User-agent: * Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ User-agent: Yandex Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/
5 июля, 20169 yr Author 4 часа назад, Flasher сказал: Нет указания на хост и карту сайта, или это не обязательно? надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitemap: https://сайт.ru/sitemap.php Host: https://сайт.ru
5 июля, 20169 yr Но of сайте написано, что он не требуется. Цитата We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway
5 июля, 20169 yr Author 6 минут назад, Sipsb сказал: Но of сайте написано, что он не требуется. да, но поисковики его просят
11 октября, 20168 yr В 30.01.2016 в 19:34, Redneck сказал: User-agent: Yandex Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.php
11 октября, 20168 yr Author Только что, ram108 сказал: Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано
28 октября, 20168 yr Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса.
19 января, 20178 yr ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других.
6 апреля, 20178 yr 7 минут назад, Genamalugin сказал: Подскажите, пожалуйста, куда заливать robots.txt? в корень, туда где лежат файлы вашего форума
1 июня, 20178 yr Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту)
1 июня, 20178 yr 11 минут назад, killer911 сказал: Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html
1 июня, 20178 yr 3 минуты назад, WOLF сказал: https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется?
1 июня, 20178 yr 5 минут назад, killer911 сказал: Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Нет
8 июня, 20178 yr Немного полученного опыта: Если установлены "страницы", нужно закрыть форму отправки статьи на емеил. Disallow: /pages/*/*/*/?do=email Disallow: /pages/*/*/?do=email Disallow: /pages/*/?do=email
23 июня, 20178 yr С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама!
19 февраля, 20187 yr у меня в корне нет никакого robots.txt но при переходе по ссылке site.ru/robots.txt открывается страница с содержимым User-agent: * Disallow: / Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше
16 мая, 20187 yr яндекс вебмастер показывает Загруженых 1 930 161 страник, когда в поиске всего 198 820 Подскажите, что не так в моём роботсе? User-agent: * # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* User-agent: Yandex # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php
16 мая, 20187 yr 1 час назад, Ректор сказал: Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Я понял правильно, вы это забыли заменить? или не хотите палить сайт?
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.