Robots.txt 1.1

Потому что я не мог найти много информации на форуме для хорошего файла robots.txt.

Я пытаюсь собрать всю информацию, которую я могу найти на invisioncommunity и собственный опыт, и сделал из нее файл robots.txt.

Хороший SEO заключается в том, чтобы снизить показатель отказов, сделать качественные ссылки и не создавать дублирующий контент (ваших собственных или других сайтов) в google.

Важная информация

Включите friendly URLs! Это можно найти по адресу: Система> Оптимизация в поисковых системах.  
В противном случае этот файл robots.txt удалит все ваши страницы из Google. 
Загрузите .htaccess и поместите его в корневой каталог.