Отсутствует robots

[Дмитрий11]

В архиве изначально отсутствовал файл robots, что та изменилось с новой версией или его самостоятельнос с 0 писать?

[wasder12]

Дмитрий11, результаты поиска

[ram108]

5 часов назад, Дмитрий11 сказал:

 

В архиве изначально отсутствовал файл robots,

 

По рекомендации разработчиков - он не нужен. Но можете создать самостоятельно по ссылке выше.

[rsergio]

Яндекс ругается когда нет robots. И действительно на форуме есть то, что не нужно индексировать.

Сегодня ручками создал такой файл по примеру из другой темы. 

[ram108]

3 минуты назад, rsergio сказал:

на форуме есть то, что не нужно индексировать

В четвертой версии хорошо оптимизировано СЕО. Запрет на индексацию ставится внутри самих страниц и поисковые роботы их исключают. Даже если отсутствует robots.txt. Поэтому можно не бояться, что подобные страницы появятся в поиске.

[rsergio]

1 час назад, ram108 сказал:

В четвертой версии хорошо оптимизировано СЕО. 

Посмотрел на страницы своего сайта - индекс noindex нашел только на страницы поиска. На странице профилей пользователей, на странице активностей, и даже на странице "Пользователи в сети" нет тэга noindex.