Redneck Posted January 30, 2016 Report Share Posted January 30, 2016 Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков User-agent: * Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ User-agent: Yandex Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ Justice and Heavenanvil 2 Quote Link to comment Share on other sites More sharing options...
Flasher Posted July 5, 2016 Report Share Posted July 5, 2016 Нет указания на хост и карту сайта, или это не обязательно? Quote Link to comment Share on other sites More sharing options...
Redneck Posted July 5, 2016 Author Report Share Posted July 5, 2016 4 часа назад, Flasher сказал: Нет указания на хост и карту сайта, или это не обязательно? надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitemap: https://сайт.ru/sitemap.php Host: https://сайт.ru Heavenanvil 1 Quote Link to comment Share on other sites More sharing options...
Sipsb Posted July 5, 2016 Report Share Posted July 5, 2016 Но of сайте написано, что он не требуется. Цитата We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway Quote Link to comment Share on other sites More sharing options...
Redneck Posted July 5, 2016 Author Report Share Posted July 5, 2016 6 минут назад, Sipsb сказал: Но of сайте написано, что он не требуется. да, но поисковики его просят Quote Link to comment Share on other sites More sharing options...
ram108 Posted October 11, 2016 Report Share Posted October 11, 2016 В 30.01.2016 в 19:34, Redneck сказал: User-agent: Yandex Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.php Safety1st 1 Quote Link to comment Share on other sites More sharing options...
Redneck Posted October 11, 2016 Author Report Share Posted October 11, 2016 Только что, ram108 сказал: Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано Quote Link to comment Share on other sites More sharing options...
wasder12 Posted October 28, 2016 Report Share Posted October 28, 2016 А типа приложений не нужно указывать "/links/" не нужно указывать? Quote Link to comment Share on other sites More sharing options...
ram108 Posted October 28, 2016 Report Share Posted October 28, 2016 Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса. Quote Link to comment Share on other sites More sharing options...
vovchik3003 Posted January 19, 2017 Report Share Posted January 19, 2017 ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других. Quote Link to comment Share on other sites More sharing options...
Zero108 Posted January 19, 2017 Report Share Posted January 19, 2017 Список плохих, плохих ботов для маньяков robots.txt robots.txt Silence 1 Quote Link to comment Share on other sites More sharing options...
Genamalugin Posted April 6, 2017 Report Share Posted April 6, 2017 Подскажите, пожалуйста, куда заливать robots.txt? Quote Link to comment Share on other sites More sharing options...
WOLF Posted April 6, 2017 Report Share Posted April 6, 2017 7 минут назад, Genamalugin сказал: Подскажите, пожалуйста, куда заливать robots.txt? в корень, туда где лежат файлы вашего форума Quote Link to comment Share on other sites More sharing options...
killer911 Posted June 1, 2017 Report Share Posted June 1, 2017 Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) Quote Link to comment Share on other sites More sharing options...
WOLF Posted June 1, 2017 Report Share Posted June 1, 2017 11 минут назад, killer911 сказал: Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Quote Link to comment Share on other sites More sharing options...
killer911 Posted June 1, 2017 Report Share Posted June 1, 2017 3 минуты назад, WOLF сказал: https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Quote Link to comment Share on other sites More sharing options...
WOLF Posted June 1, 2017 Report Share Posted June 1, 2017 5 минут назад, killer911 сказал: Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Нет killer911 1 Quote Link to comment Share on other sites More sharing options...
killer911 Posted June 8, 2017 Report Share Posted June 8, 2017 Немного полученного опыта: Если установлены "страницы", нужно закрыть форму отправки статьи на емеил. Disallow: /pages/*/*/*/?do=email Disallow: /pages/*/*/?do=email Disallow: /pages/*/?do=email Quote Link to comment Share on other sites More sharing options...
killer911 Posted June 23, 2017 Report Share Posted June 23, 2017 С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама! Quote Link to comment Share on other sites More sharing options...
urgentoo Posted February 16, 2018 Report Share Posted February 16, 2018 интересно, а почему =do не закрываете? Quote Link to comment Share on other sites More sharing options...
bsnet Posted February 19, 2018 Report Share Posted February 19, 2018 у меня в корне нет никакого robots.txt но при переходе по ссылке site.ru/robots.txt открывается страница с содержимым User-agent: * Disallow: / Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше Quote Link to comment Share on other sites More sharing options...
sanello Posted February 26, 2018 Report Share Posted February 26, 2018 а что за хостинг такой волшебный Quote Link to comment Share on other sites More sharing options...
Ректор Posted May 16, 2018 Report Share Posted May 16, 2018 яндекс вебмастер показывает Загруженых 1 930 161 страник, когда в поиске всего 198 820 Подскажите, что не так в моём роботсе? User-agent: * # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* User-agent: Yandex # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Quote Link to comment Share on other sites More sharing options...
Nikola_Telegin Posted May 16, 2018 Report Share Posted May 16, 2018 1 час назад, Ректор сказал: Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Я понял правильно, вы это забыли заменить? или не хотите палить сайт? Quote Link to comment Share on other sites More sharing options...
Ректор Posted May 16, 2018 Report Share Posted May 16, 2018 просто заменил на слово сайт тут Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.