Только что, Ректор сказал:

просто заменил на слово сайт тут

А сайт не на HTTPS? Просто выше читайте комментарии.

По сути это всё, что нужно.

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /cgi-bin
Disallow: /datastore
Disallow: /oauth
Disallow: /plugins
Disallow: /system
Disallow: /uploads/css_built_1
Disallow: /uploads/emoticons
Disallow: /uploads/javascript_cms
Disallow: /uploads/javascript_core
Disallow: /uploads/javascript_forums
Disallow: /uploads/javascript_gallery
Disallow: /uploads/javascript_global
Disallow: /uploads/logs
Disallow: /uploads/reactions
Disallow: /uploads/set_resources_1
Disallow: /init.php
Disallow: /error.php
Disallow: /Credits.txt
Disallow: /conf_global.php
Disallow: /404error.php
Host: сайт.ru
Sitemap: https://сайт.ru/sitemap.php

 

47 минут назад, Sipsb сказал:

По сути это всё, что нужно.

Ты забыл самую главную строку:

Disallow: /

и всё-таки вопрос звучал не так

On 1/30/2016 at 11:34 PM, Redneck said:

Allow: /applications/core/interface/font/

Привет!

Зачем разрешать к поиску /font? Особенно если учесть, что этот путь форбидден для всех?

Добрый день, друзья!
Кто сталкивался с тем, что поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть? 

2 минуты назад, Dark Shy сказал:

поисковики не хотят брать во внимание ссылка_на_сайт/sitemap.php и просят ../sitemap.xml? Как быть? 

Что за поисковик? Чебурнет?

12 минут назад, MIXOH сказал:

Что за поисковик? Чебурнет?

Мыло.Жру

 

Всем доброго времени суток. Составил свой robots.txt

Делюсь). Закрыл полностью все не нужное. Оставил только контент.

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/
Disallow: /tags/
Disallow: /notifications/
Disallow: /messenger/
Disallow: /*/?tab=*
Disallow: /lostpassword/
Disallow: /*?app=*
Disallow: /index.php?*
Disallow: /*/submit/?id=*
Disallow: /*/?filter=*
Disallow: /markallread/
Disallow: /*/?do=*
Disallow: /*/?_fromLogin=*

Host: site.site
Sitemap: site.site/sitemap.php

 

2 часа назад, komosa сказал:

Всем доброго времени суток. Составил свой robots.txt

Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden.

+ скрыть версию движка, а лучше использовать свои страницы ошибок

А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо.

Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки

такие как (пример)

/admin
/db
/base

а Login и Register оставить, что плохого в их индексации?

19 минут назад, anomal3 сказал:

Вы не учли, что Indexes нужно запретить, default.conf демона для безопасности, чтобы при попытке зайти на Ваш сайт http://vashsait.ru/img/ Вы получили в ответ Forbidden.

+ скрыть версию движка, а лучше использовать свои страницы ошибок

А то нету смысла от того что Вы скрываете от поисковой индексации. От рук человека в первую очередь обезопаситься надо.

Если я зашёл в cgi папку я не должен видеть содержимое. А роботу Disallow сделать только системные папки

такие как (пример)

/admin
/db
/base

а Login и Register оставить, что плохого в их индексации?

Разве это нормально? Куча не нужных ссылок..

7 часов назад, komosa сказал:

Разве это нормально? Куча не нужных ссылок..

смотрите логи /var/log/nginx или apache2

Робот не будет индексировать такие ссылки.

А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ

5 часов назад, anomal3 сказал:

смотрите логи /var/log/nginx или apache2

Робот не будет индексировать такие ссылки.

А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ

У тебя может лям проиндексированных а запрос 1

Я думаю иначе.

Уникальность текста/материала важнее всего а там и всё остальное будет

В 4.3.5 вроде в настройках смотрел что можно выбрать в индексации заголовок, текст материала, текст материала и заголовок но во всём есть минус и плюс.

11 часов назад, anomal3 сказал:

чем больше проиндексировано страниц, тем выше ТИЦ

@MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав?

@anomal3 неправ. ТиЦ это не только посетители это раз, позиция в поиске зависит далекооо не только от количества проиндексированных страниц. Простой пример, сайт с тысячью страниц на которых белиберда и нулевой SEO, и сайт с десятком страниц, причем все они релевантны и правильно организованы с точки зрения SEO. Думаю вопрос риторический, кто из них не просто будет выше, а будет свободно удерживать топ

Ну это утрированно

2 минуты назад, MIXOH сказал:

ТиЦ это не только посетители это раз

Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике.

Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать.

Начинается с малого, с robots.txt

А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту.

 

Или у Вас другое мнение на этот счёт?

16 минут назад, anomal3 сказал:

Или у Вас другое мнение на этот счёт?

Ну вот в таком виде это уже ближе к истине.

21 минуту назад, anomal3 сказал:

Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике.

Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать.

Начинается с малого, с robots.txt

А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту.

 

Или у Вас другое мнение на этот счёт?

Если вы и правда про тиц - в корне не правы, тиц - количество и качество ссылающихся на ваш домен сайтов, это всё. Но тиц отменили, сейчас есть показатель ИКС.

1 час назад, anomal3 сказал:

@MIXOHнежели ты меня не понял, чем больше проиндексировано=>Тем выше в поиске=>Чем выше в поиске, тем больше посетителей=>Чем больше посетителей, тем выше ТиЦ или я не прав?

Извини, но ты не прав).

Тиц показывает внешнюю оптимизацию. То есть сколько тематических сайтов с тиц более 10 ссылаются на твой ресурс. 

А не нужные ссылки, наоборот роботу не к чему. Тебе как хочется, что бы ссылки быстро вылетали в поиск? или же ждать неделями? 

1 час назад, anomal3 сказал:

Чем больше проиндексировано страниц, тем легче найти по заголовкам в поисковике.

Я же сокращённо сказал, факторов много, я согласен, но та составляющая которая является индексацией, нельзя игнорировать.

Начинается с малого, с robots.txt

А раз тут обсуждается про индексацию поисковиков, вот я и внёс лепту.

 

Или у Вас другое мнение на этот счёт?

С помощью Robots.txt можно увеличить скорость сканирования страниц сайта. Ты же людям что хочешь донести с помощью своего сайта? Контент, правильно? Так зачем индексировать страницу входа и регистрации?  Конечно они не кому не нужны.. Просто попробуй делать для людей) А не для робота.. И увидишь хороший результат))

Это раньше можно было пренебрегать качеству и делать все для робота. После 2015 или 16 года, когда яша обновил систему сканирования сайтов, все поменялось. Важнее стало качество ресурса, а не флуд и тупой заработок на ссылках. 

У меня было несколько проектов, которые делал для души. Они процветали). Как только первые денежки покапали, они начали рушатся, потому что первым делом, думал уже о деньгах. Так вот мысль какая.. Если хочешь развить хороший проект, который будут посещать множество людей, важно думать не о деньгах и как их извлечь, а о том как будет лучше для людей, для пользователей сайта, что бы удержать аудиторию.  Так вот после глобальной обновы, алгоритмы яши стали работать (не очень хорошо) примерно по такому же сценарию. Это важно учитывать.. 

(Что то я забрел уже не в ту степь)

всё. забудте, с сегодняшнего дня не тиц а икс https://yandex.ru/support/webmaster/site-quality-index.html

у меня два проекта тиц был 10 и 450, теперь икс 80 и 350. даже не знаю, наверное это плохие показатели

 

В 31.08.2018 в 20:55, komosa сказал:

Извини, но ты не прав

Почитал я Ваши отзывы. Уважаемые форумчане, раз тут тема поднималась про индексацию, то я сказал сокращённо, что она важна, как вода для растений.

А вы мне в ответ ссылками и цитатами из интернета накидали про ТиЦ. Что такое ТИЦ - ИСК я прекрасно знаю, и прекрасно понимаю от чего он зависит.

Неужели когда проколите шину у машины, будете руль снимать в первую очередь? Нет, и тут так же, надо начинать с малого, сначала.

Для тех кто только что прочитал текст выше и не понял. Чем больше у Вас проиндексируется страниц, тем больше страниц поисковик будет хранить в так называемом стеке имён запросов. Чем больше там страниц, тем БОЛЬШЕ вероятность что найдут именно Вашу страницу. Чем больше зайдёт реальных посетителей на Ваш сайт, тем больше они будут обсуждать Ваш портал (если он интересный), и будут обращаться в сообщениях на других форумах, чем больше будет таких ссылок, тем выше станет Ваша ПИСЬКА, вот на этом думаю можно  подвести жирную черту и вернутся к теме Robots.txt и советами по его улучшению. А кидать цитаты из гугла нет смысла, я пока вроде чуть чуть умею им пользоваться) с Уважением! Думаю у Вас немного не хватает опыта в этом, и я тоже не СЕО оптимизатор, просто есть друзья которые работают в компаниях, которые и поднимают ТИЦ.

 

Я же вам информацию (совет) даю, а воспользоваться им или проигнорировать решать Вам!

поднимали.

 

вы лучше напишите какой у кого ИКС 

Какая в итоге наиболее правильная и актуальная версия robots.txt из всех что выше?

Вопрос вскочил.

У меня в корне сайта Битрикс а форум в под папке /forum/

как правильно сделать, в корне сделать общий robots.txt

и там прописать ссылки вида:

Disallow: /forum/applications/

или 

или 2 отдельных, в корне для битрикса а в /forum/ для форума.