16 мая, 20186 yr Только что, Ректор сказал: просто заменил на слово сайт тут А сайт не на HTTPS? Просто выше читайте комментарии.
16 мая, 20186 yr По сути это всё, что нужно. User-agent: * Disallow: /admin Disallow: /api Disallow: /cgi-bin Disallow: /datastore Disallow: /oauth Disallow: /plugins Disallow: /system Disallow: /uploads/css_built_1 Disallow: /uploads/emoticons Disallow: /uploads/javascript_cms Disallow: /uploads/javascript_core Disallow: /uploads/javascript_forums Disallow: /uploads/javascript_gallery Disallow: /uploads/javascript_global Disallow: /uploads/logs Disallow: /uploads/reactions Disallow: /uploads/set_resources_1 Disallow: /init.php Disallow: /error.php Disallow: /Credits.txt Disallow: /conf_global.php Disallow: /404error.php Host: сайт.ru Sitemap: https://сайт.ru/sitemap.php
16 мая, 20186 yr 47 минут назад, Sipsb сказал: По сути это всё, что нужно. Ты забыл самую главную строку: Disallow: /
5 июня, 20186 yr On 1/30/2016 at 11:34 PM, Redneck said: Allow: /applications/core/interface/font/ Привет! Зачем разрешать к поиску /font? Особенно если учесть, что этот путь форбидден для всех?
23 августа, 20186 yr Добрый день, друзья! Кто сталкивался с тем, что поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть?
23 августа, 20186 yr 2 минуты назад, Dark Shy сказал: поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть? Что за поисковик? Чебурнет?
30 августа, 20186 yr Всем доброго времени суток. Составил свой robots.txt Делюсь). Закрыл полностью все не нужное. Оставил только контент. User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Disallow: /tags/ Disallow: /notifications/ Disallow: /messenger/ Disallow: /*/?tab=* Disallow: /lostpassword/ Disallow: /*?app=* Disallow: /index.php?* Disallow: /*/submit/?id=* Disallow: /*/?filter=* Disallow: /markallread/ Disallow: /*/?do=* Disallow: /*/?_fromLogin=* Host: site.site Sitemap: site.site/sitemap.php
30 августа, 20186 yr 2 часа назад, komosa сказал: Всем доброго времени суток. Составил свой robots.txt Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden. + скрыть версию движка, а лучше использовать свои страницы ошибок А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо. Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки такие как (пример) /admin /db /base а Login и Register оставить, что плохого в их индексации?
30 августа, 20186 yr 19 минут назад, anomal3 сказал: Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden. + скрыть версию движка, а лучше использовать свои страницы ошибок А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо. Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки такие как (пример) /admin /db /base а Login и Register оставить, что плохого в их индексации? Разве это нормально? Куча не нужных ссылок..
31 августа, 20186 yr 7 часов назад, komosa сказал: Разве это нормально? Куча не нужных ссылок.. смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ
31 августа, 20186 yr 5 часов назад, anomal3 сказал: смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ У тебя может лям проиндексированных а запрос 1 Я думаю иначе. Уникальность текста/материала важнее всего а там и всё остальное будет В 4.3.5 вроде в настройках смотрел что можно выбрать в индексации заголовок, текст материала, текст материала и заголовок но во всём есть минус и плюс.
31 августа, 20186 yr 11 часов назад, anomal3 сказал: чем больше проиндексировано страниц, тем выше ТИЦ @MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав?
31 августа, 20186 yr @anomal3 неправ. ТиЦ это не только посетители это раз, позиция в поиске зависит далекооо не только от количества проиндексированных страниц. Простой пример, сайт с тысячью страниц на которых белиберда и нулевой SEO, и сайт с десятком страниц, причем все они релевантны и правильно организованы с точки зрения SEO. Думаю вопрос риторический, кто из них не просто будет выше, а будет свободно удерживать топ Ну это утрированно
31 августа, 20186 yr 2 минуты назад, MIXOH сказал: ТиЦ это не только посетители это раз Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт?
31 августа, 20186 yr 16 минут назад, anomal3 сказал: Или у Вас другое мнение на этот счёт? Ну вот в таком виде это уже ближе к истине.
31 августа, 20186 yr 21 минуту назад, anomal3 сказал: Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт? Если вы и правда про тиц - в корне не правы, тиц - количество и качество ссылающихся на ваш домен сайтов, это всё. Но тиц отменили, сейчас есть показатель ИКС.
31 августа, 20186 yr 1 час назад, anomal3 сказал: @MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав? Извини, но ты не прав). Тиц показывает внешнюю оптимизацию. То есть сколько тематических сайтов с тиц более 10 ссылаются на твой ресурс. А не нужные ссылки, наоборот роботу не к чему. Тебе как хочется, что бы ссылки быстро вылетали в поиск? или же ждать неделями? 1 час назад, anomal3 сказал: Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт? С помощью Robots.txt можно увеличить скорость сканирования страниц сайта. Ты же людям что хочешь донести с помощью своего сайта? Контент, правильно? Так зачем индексировать страницу входа и регистрации? Конечно они не кому не нужны.. Просто попробуй делать для людей) А не для робота.. И увидишь хороший результат))
31 августа, 20186 yr Это раньше можно было пренебрегать качеству и делать все для робота. После 2015 или 16 года, когда яша обновил систему сканирования сайтов, все поменялось. Важнее стало качество ресурса, а не флуд и тупой заработок на ссылках. У меня было несколько проектов, которые делал для души. Они процветали). Как только первые денежки покапали, они начали рушатся, потому что первым делом, думал уже о деньгах. Так вот мысль какая.. Если хочешь развить хороший проект, который будут посещать множество людей, важно думать не о деньгах и как их извлечь, а о том как будет лучше для людей, для пользователей сайта, что бы удержать аудиторию. Так вот после глобальной обновы, алгоритмы яши стали работать (не очень хорошо) примерно по такому же сценарию. Это важно учитывать.. (Что то я забрел уже не в ту степь)
31 августа, 20186 yr всё. забудте, с сегодняшнего дня не тиц а икс https://yandex.ru/support/webmaster/site-quality-index.html у меня два проекта тиц был 10 и 450, теперь икс 80 и 350. даже не знаю, наверное это плохие показатели
1 сентября, 20186 yr В 31.08.2018 в 20:55, komosa сказал: Извини, но ты не прав Почитал я Ваши отзывы. Уважаемые форумчане, раз тут тема поднималась про индексацию, то я сказал сокращённо, что она важна, как вода для растений. А вы мне в ответ ссылками и цитатами из интернета накидали про ТиЦ. Что такое ТИЦ - ИСК я прекрасно знаю, и прекрасно понимаю от чего он зависит. Неужели когда проколите шину у машины, будете руль снимать в первую очередь? Нет, и тут так же, надо начинать с малого, сначала. Для тех кто только что прочитал текст выше и не понял. Чем больше у Вас проиндексируется страниц, тем больше страниц поисковик будет хранить в так называемом стеке имён запросов. Чем больше там страниц, тем БОЛЬШЕ вероятность что найдут именно Вашу страницу. Чем больше зайдёт реальных посетителей на Ваш сайт, тем больше они будут обсуждать Ваш портал (если он интересный), и будут обращаться в сообщениях на других форумах, чем больше будет таких ссылок, тем выше станет Ваша ПИСЬКА, вот на этом думаю можно подвести жирную черту и вернутся к теме Robots.txt и советами по его улучшению. А кидать цитаты из гугла нет смысла, я пока вроде чуть чуть умею им пользоваться) с Уважением! Думаю у Вас немного не хватает опыта в этом, и я тоже не СЕО оптимизатор, просто есть друзья которые работают в компаниях, которые и поднимают ТИЦ. Я же вам информацию (совет) даю, а воспользоваться им или проигнорировать решать Вам!
4 октября, 20186 yr Какая в итоге наиболее правильная и актуальная версия robots.txt из всех что выше?
29 ноября, 20186 yr Вопрос вскочил. У меня в корне сайта Битрикс а форум в под папке /forum/ как правильно сделать, в корне сделать общий robots.txt и там прописать ссылки вида: Disallow: /forum/applications/ или или 2 отдельных, в корне для битрикса а в /forum/ для форума.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.