Вот такая картина наблюдается при попытке посмотреть форум как Googlebot
Если набрать адрес mysite.ru/robots.txt

показывает страницу с содержимым

User-agent: *
Disallow: /

хотя файла robots.txt нет в корневой папке, если кинуть в корень robots.txt, показывает тоже самое, не меняется.

 

В общем - это хостер как-то умудрился сделать такое с robots.txt, при его отсутствии или с ним.

На одном домене пофиксили, на поддоменах другого домена - нет, разбираются.