Nikola_Telegin Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 Только что, Ректор сказал: просто заменил на слово сайт тут А сайт не на HTTPS? Просто выше читайте комментарии. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sipsb Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 По сути это всё, что нужно. User-agent: * Disallow: /admin Disallow: /api Disallow: /cgi-bin Disallow: /datastore Disallow: /oauth Disallow: /plugins Disallow: /system Disallow: /uploads/css_built_1 Disallow: /uploads/emoticons Disallow: /uploads/javascript_cms Disallow: /uploads/javascript_core Disallow: /uploads/javascript_forums Disallow: /uploads/javascript_gallery Disallow: /uploads/javascript_global Disallow: /uploads/logs Disallow: /uploads/reactions Disallow: /uploads/set_resources_1 Disallow: /init.php Disallow: /error.php Disallow: /Credits.txt Disallow: /conf_global.php Disallow: /404error.php Host: сайт.ru Sitemap: https://сайт.ru/sitemap.php Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Megalex Опубликовано 16 мая, 2018 Поделиться Опубликовано 16 мая, 2018 47 минут назад, Sipsb сказал: По сути это всё, что нужно. Ты забыл самую главную строку: Disallow: / Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Ректор Опубликовано 17 мая, 2018 Поделиться Опубликовано 17 мая, 2018 и всё-таки вопрос звучал не так Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Buben2015 Опубликовано 5 июня, 2018 Поделиться Опубликовано 5 июня, 2018 On 1/30/2016 at 11:34 PM, Redneck said: Allow: /applications/core/interface/font/ Привет! Зачем разрешать к поиску /font? Особенно если учесть, что этот путь форбидден для всех? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Dark Shy Опубликовано 23 августа, 2018 Поделиться Опубликовано 23 августа, 2018 Добрый день, друзья! Кто сталкивался с тем, что поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
MIXOH Опубликовано 23 августа, 2018 Поделиться Опубликовано 23 августа, 2018 2 минуты назад, Dark Shy сказал: поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть? Что за поисковик? Чебурнет? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Dark Shy Опубликовано 23 августа, 2018 Поделиться Опубликовано 23 августа, 2018 12 минут назад, MIXOH сказал: Что за поисковик? Чебурнет? Мыло.Жру Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
komosa Опубликовано 30 августа, 2018 Поделиться Опубликовано 30 августа, 2018 Всем доброго времени суток. Составил свой robots.txt Делюсь). Закрыл полностью все не нужное. Оставил только контент. User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /search/ Disallow: /login/ Disallow: /register/ Disallow: /online/ Disallow: /staff/ Disallow: /contact/ Disallow: /tags/ Disallow: /notifications/ Disallow: /messenger/ Disallow: /*/?tab=* Disallow: /lostpassword/ Disallow: /*?app=* Disallow: /index.php?* Disallow: /*/submit/?id=* Disallow: /*/?filter=* Disallow: /markallread/ Disallow: /*/?do=* Disallow: /*/?_fromLogin=* Host: site.site Sitemap: site.site/sitemap.php Nikola_Telegin 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
anomal3 Опубликовано 30 августа, 2018 Поделиться Опубликовано 30 августа, 2018 2 часа назад, komosa сказал: Всем доброго времени суток. Составил свой robots.txt Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden. + скрыть версию движка, а лучше использовать свои страницы ошибок А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо. Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки такие как (пример) /admin /db /base а Login и Register оставить, что плохого в их индексации? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
komosa Опубликовано 30 августа, 2018 Поделиться Опубликовано 30 августа, 2018 19 минут назад, anomal3 сказал: Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden. + скрыть версию движка, а лучше использовать свои страницы ошибок А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо. Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки такие как (пример) /admin /db /base а Login и Register оставить, что плохого в их индексации? Разве это нормально? Куча не нужных ссылок.. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
anomal3 Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 7 часов назад, komosa сказал: Разве это нормально? Куча не нужных ссылок.. смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ MIXOH и Nikola_Telegin 1 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
wasder12 Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 5 часов назад, anomal3 сказал: смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ У тебя может лям проиндексированных а запрос 1 Я думаю иначе. Уникальность текста/материала важнее всего а там и всё остальное будет В 4.3.5 вроде в настройках смотрел что можно выбрать в индексации заголовок, текст материала, текст материала и заголовок но во всём есть минус и плюс. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
anomal3 Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 11 часов назад, anomal3 сказал: чем больше проиндексировано страниц, тем выше ТИЦ @MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
MIXOH Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 @anomal3 неправ. ТиЦ это не только посетители это раз, позиция в поиске зависит далекооо не только от количества проиндексированных страниц. Простой пример, сайт с тысячью страниц на которых белиберда и нулевой SEO, и сайт с десятком страниц, причем все они релевантны и правильно организованы с точки зрения SEO. Думаю вопрос риторический, кто из них не просто будет выше, а будет свободно удерживать топ Ну это утрированно Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
anomal3 Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 2 минуты назад, MIXOH сказал: ТиЦ это не только посетители это раз Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
MIXOH Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 16 минут назад, anomal3 сказал: Или у Вас другое мнение на этот счёт? Ну вот в таком виде это уже ближе к истине. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
TemKa_SD Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 21 минуту назад, anomal3 сказал: Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт? Если вы и правда про тиц - в корне не правы, тиц - количество и качество ссылающихся на ваш домен сайтов, это всё. Но тиц отменили, сейчас есть показатель ИКС. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
komosa Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 1 час назад, anomal3 сказал: @MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав? Извини, но ты не прав). Тиц показывает внешнюю оптимизацию. То есть сколько тематических сайтов с тиц более 10 ссылаются на твой ресурс. А не нужные ссылки, наоборот роботу не к чему. Тебе как хочется, что бы ссылки быстро вылетали в поиск? или же ждать неделями? 1 час назад, anomal3 сказал: Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике. Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать. Начинается с малого, с robots.txt А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту. Или у Вас другое мнение на этот счёт? С помощью Robots.txt можно увеличить скорость сканирования страниц сайта. Ты же людям что хочешь донести с помощью своего сайта? Контент, правильно? Так зачем индексировать страницу входа и регистрации? Конечно они не кому не нужны.. Просто попробуй делать для людей) А не для робота.. И увидишь хороший результат)) Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
komosa Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 Это раньше можно было пренебрегать качеству и делать все для робота. После 2015 или 16 года, когда яша обновил систему сканирования сайтов, все поменялось. Важнее стало качество ресурса, а не флуд и тупой заработок на ссылках. У меня было несколько проектов, которые делал для души. Они процветали). Как только первые денежки покапали, они начали рушатся, потому что первым делом, думал уже о деньгах. Так вот мысль какая.. Если хочешь развить хороший проект, который будут посещать множество людей, важно думать не о деньгах и как их извлечь, а о том как будет лучше для людей, для пользователей сайта, что бы удержать аудиторию. Так вот после глобальной обновы, алгоритмы яши стали работать (не очень хорошо) примерно по такому же сценарию. Это важно учитывать.. (Что то я забрел уже не в ту степь) Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Ректор Опубликовано 31 августа, 2018 Поделиться Опубликовано 31 августа, 2018 всё. забудте, с сегодняшнего дня не тиц а икс https://yandex.ru/support/webmaster/site-quality-index.html у меня два проекта тиц был 10 и 450, теперь икс 80 и 350. даже не знаю, наверное это плохие показатели Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
anomal3 Опубликовано 1 сентября, 2018 Поделиться Опубликовано 1 сентября, 2018 В 31.08.2018 в 20:55, komosa сказал: Извини, но ты не прав Почитал я Ваши отзывы. Уважаемые форумчане, раз тут тема поднималась про индексацию, то я сказал сокращённо, что она важна, как вода для растений. А вы мне в ответ ссылками и цитатами из интернета накидали про ТиЦ. Что такое ТИЦ - ИСК я прекрасно знаю, и прекрасно понимаю от чего он зависит. Неужели когда проколите шину у машины, будете руль снимать в первую очередь? Нет, и тут так же, надо начинать с малого, сначала. Для тех кто только что прочитал текст выше и не понял. Чем больше у Вас проиндексируется страниц, тем больше страниц поисковик будет хранить в так называемом стеке имён запросов. Чем больше там страниц, тем БОЛЬШЕ вероятность что найдут именно Вашу страницу. Чем больше зайдёт реальных посетителей на Ваш сайт, тем больше они будут обсуждать Ваш портал (если он интересный), и будут обращаться в сообщениях на других форумах, чем больше будет таких ссылок, тем выше станет Ваша ПИСЬКА, вот на этом думаю можно подвести жирную черту и вернутся к теме Robots.txt и советами по его улучшению. А кидать цитаты из гугла нет смысла, я пока вроде чуть чуть умею им пользоваться) с Уважением! Думаю у Вас немного не хватает опыта в этом, и я тоже не СЕО оптимизатор, просто есть друзья которые работают в компаниях, которые и поднимают ТИЦ. Я же вам информацию (совет) даю, а воспользоваться им или проигнорировать решать Вам! Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Ректор Опубликовано 1 сентября, 2018 Поделиться Опубликовано 1 сентября, 2018 поднимали. вы лучше напишите какой у кого ИКС Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
weblabel Опубликовано 4 октября, 2018 Поделиться Опубликовано 4 октября, 2018 Какая в итоге наиболее правильная и актуальная версия robots.txt из всех что выше? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
macar Опубликовано 29 ноября, 2018 Поделиться Опубликовано 29 ноября, 2018 Вопрос вскочил. У меня в корне сайта Битрикс а форум в под папке /forum/ как правильно сделать, в корне сделать общий robots.txt и там прописать ссылки вида: Disallow: /forum/applications/ или или 2 отдельных, в корне для битрикса а в /forum/ для форума. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.