Ребят раз тема зашла за роботс.тхт то спрошу следующее то роботс что предоставлен изначально разработчиками сильно дорабатывать нужно? Если немного не поняли про что я то ммммммммм как объяснить лучше то.
Вообщем есть ли какой то роботс который грамотный и все что нужно скрыто от индекса, все что нужно открыто.
Для примера вот мой, что посоветуете что бы открыть и что бы скрыть?