Redneck Опубликовано 30 января, 2016 Поделиться Опубликовано 30 января, 2016 Надыбал на одном из ресурсов пример файла robots.txt, убрал лишнее (запреты на забугорных ботов). Хотелось бы узнать мнение от знатоков User-agent: * Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ User-agent: Yandex Allow: /applications/core/interface/font/ Disallow: /applications/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /_piwik/ Disallow: /system/ Disallow: /Credits.txt Disallow: /upgrading.html Disallow: /login/ Disallow: /register/ Disallow: /lostpassword/ Disallow: /search/ Disallow: /online/ Disallow: /contact/ Disallow: /activity/ Disallow: /discover/ Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /clients/info/ Justice и Heavenanvil 2 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Flasher Опубликовано 5 июля, 2016 Поделиться Опубликовано 5 июля, 2016 Нет указания на хост и карту сайта, или это не обязательно? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Redneck Опубликовано 5 июля, 2016 Автор Поделиться Опубликовано 5 июля, 2016 4 часа назад, Flasher сказал: Нет указания на хост и карту сайта, или это не обязательно? надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitemap: https://сайт.ru/sitemap.php Host: https://сайт.ru Heavenanvil 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 5 июля, 2016 Поделиться Опубликовано 5 июля, 2016 Но of сайте написано, что он не требуется. Цитата We do not include a robots.txt in IPS4 as it is not needed. Guest links can be removed entirely for inaccessible sections, so there's nothing for search engines to exclude as they won't see it anyway Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Redneck Опубликовано 5 июля, 2016 Автор Поделиться Опубликовано 5 июля, 2016 6 минут назад, Sipsb сказал: Но of сайте написано, что он не требуется. да, но поисковики его просят Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
ram108 Опубликовано 11 октября, 2016 Поделиться Опубликовано 11 октября, 2016 В 30.01.2016 в 19:34, Redneck сказал: User-agent: Yandex Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Host: www.site.ru Sitemap: http://www.site.ru/sitemap.php Safety1st 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Redneck Опубликовано 11 октября, 2016 Автор Поделиться Опубликовано 11 октября, 2016 Только что, ram108 сказал: Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции не обязательно, но желательно, т.к. Яндекс любит, когда для него индивидуально прописано Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
wasder12 Опубликовано 28 октября, 2016 Поделиться Опубликовано 28 октября, 2016 А типа приложений не нужно указывать "/links/" не нужно указывать? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
ram108 Опубликовано 28 октября, 2016 Поделиться Опубликовано 28 октября, 2016 Можете добавлять любые пути, которые хотите закрыть от поисковых ботов. Главное, не добавьте лишнего, чтобы весь сайт не вылетел из индекса. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
vovchik3003 Опубликовано 19 января, 2017 Поделиться Опубликовано 19 января, 2017 ram108, для Яндекса обязательно нужно. Так как Яша обожает, когда для него делают. Тем более, к примеру, вы что то хотите скрыть от яндекса, но открыть для других. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Zero108 Опубликовано 19 января, 2017 Поделиться Опубликовано 19 января, 2017 Список плохих, плохих ботов для маньяков robots.txt robots.txt Silence 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Genamalugin Опубликовано 6 апреля, 2017 Поделиться Опубликовано 6 апреля, 2017 Подскажите, пожалуйста, куда заливать robots.txt? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
WOLF Опубликовано 6 апреля, 2017 Поделиться Опубликовано 6 апреля, 2017 7 минут назад, Genamalugin сказал: Подскажите, пожалуйста, куда заливать robots.txt? в корень, туда где лежат файлы вашего форума Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
killer911 Опубликовано 1 июня, 2017 Поделиться Опубликовано 1 июня, 2017 Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
WOLF Опубликовано 1 июня, 2017 Поделиться Опубликовано 1 июня, 2017 11 минут назад, killer911 сказал: Вопрос: а зачем прятать /search/? если можно ответ по существу, без иронии, а то самооценка и так не к чёрту) https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
killer911 Опубликовано 1 июня, 2017 Поделиться Опубликовано 1 июня, 2017 3 минуты назад, WOLF сказал: https://oborot.ru/articles/chto-i-kak-zakryvat-ot-indeksacii-na-sajte-internet-magazina-i35677.html Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
WOLF Опубликовано 1 июня, 2017 Поделиться Опубликовано 1 июня, 2017 5 минут назад, killer911 сказал: Почитал, подумал, осмыслил. Вывод: из-за дублежа контента. Вопрос: а на перелинковке это не скажется? Нет killer911 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
killer911 Опубликовано 8 июня, 2017 Поделиться Опубликовано 8 июня, 2017 Немного полученного опыта: Если установлены "страницы", нужно закрыть форму отправки статьи на емеил. Disallow: /pages/*/*/*/?do=email Disallow: /pages/*/*/?do=email Disallow: /pages/*/?do=email Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
killer911 Опубликовано 23 июня, 2017 Поделиться Опубликовано 23 июня, 2017 С появлением не большого опыта анализа индексации ipb4 заявление, что ipb4 не нуждается в robots.txt у меня вызывает нервный смех. В поиск лезет столько хлама! Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
urgentoo Опубликовано 16 февраля, 2018 Поделиться Опубликовано 16 февраля, 2018 интересно, а почему =do не закрываете? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
bsnet Опубликовано 19 февраля, 2018 Поделиться Опубликовано 19 февраля, 2018 у меня в корне нет никакого robots.txt но при переходе по ссылке site.ru/robots.txt открывается страница с содержимым User-agent: * Disallow: / Если заливаю в корень сайта свой robots.txt с другим содержимым, ничего не меняется и показывает такой же robots, что указал выше Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
sanello Опубликовано 26 февраля, 2018 Поделиться Опубликовано 26 февраля, 2018 а что за хостинг такой волшебный Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Ректор Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 яндекс вебмастер показывает Загруженых 1 930 161 страник, когда в поиске всего 198 820 Подскажите, что не так в моём роботсе? User-agent: * # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* User-agent: Yandex # Disallow directory Disallow: /api/ Disallow: /applications/ Disallow: /cgi-bin/ Disallow: /datastore/ Disallow: /plugins/ Disallow: /system/ #Disallow files Disallow: /403error.php Disallow: /404error.php Disallow: /500error.php Disallow: /Credits.txt Disallow: /error.php Disallow: /upgrading.html # Querystring Disallow: /?tab=* Disallow: /index.php?* Disallow: /*?app=* Disallow: /*sortby=* Disallow: /*/?do=download Disallow: /profile/*/?do=* Disallow: /profile/*/content/ Disallow: /*?do=add Disallow: /*?do=email Disallow: /*?do=getNewComment Disallow: /*?do=getLastComment Disallow: /*?do=getLastComment Disallow: /*?do=findComment* # Allow specific parts Allow: /applications/core/interface/imageproxy/imageproxy.php?img=* Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Nikola_Telegin Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 1 час назад, Ректор сказал: Host: сайт/board/ Sitemap: https://сайт/board/sitemap.php Я понял правильно, вы это забыли заменить? или не хотите палить сайт? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Ректор Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 просто заменил на слово сайт тут Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.