Jump to content

Настройки robots.txt

Featured Replies

Установил 4.6.9 с нуля, не апгрейдил предыдущую версию. В настройках Search Engine Optimization установил рекомендуемые настройки. Файл robots.txt автоматически не создался. Его нужно создать руками или система его эмулирует из базы данных как-то? Не совсем понятно, будет ли работать robots.txt, если его добавить руками. 

И второй момент, достаточно ли для полной блокировки ботов Яндекса следующей директивы:

User-agent: Yandex
Disallow: /

 Я заметил, что сайт посещает бот rotor-vla2-287.vla.yp-c.yandex.net. Нужно ли его блокировать отдельной строкой в robots.txt?

1218340535_SearchEngineOptimization-GoogleChrome.thumb.jpg.316ac4922978b9aff523f1cc2e651160.jpg

Edited by Zero108

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/
Share on other sites
7 минут назад, Zero108 сказал:

блокировки ботов

А зачем ботов блокировать, если не секрет?

Edited by Donjuan

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176318
Share on other sites
1 час назад, Donjuan сказал:

А зачем ботов блокировать, если не секрет?

Чтобы были заблокированными.

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176323
Share on other sites
2 hours ago, Zero108 said:

The robots.txt file was not automatically generated.

I have the same problem. I set the recommended settings but after one month my rank dropped from 700hk to 1,200,000.

what is reason?

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176325
Share on other sites
3 часа назад, Zero108 сказал:

И второй момент, достаточно ли для полной блокировки ботов Яндекса следующей директивы:

достаточно

только зачем это всё?)

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176326
Share on other sites
10 минут назад, the.bunin сказал:

достаточно

только зачем это всё?)

Чтобы было.

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176328
Share on other sites
2 часа назад, the.bunin сказал:

достаточно

только зачем это всё?)

Может у человека контент рассчитан на англ. язычную аудиторию зачем ему робот Яндекса? 

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176329
Share on other sites
6 часов назад, Zero108 сказал:

Его нужно создать руками или система его эмулирует из базы данных как-то?

создаешь руками в  админке есть ссылка, на образец,

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176331
Share on other sites
7 часов назад, macar сказал:

создаешь руками в  админке есть ссылка, на образец,

Скопировал этот файл с другого проекта по Invision Community (как движок то теперь называется?) А для чего галочка Custom в настройках раздела? Она дозаписывает что-то в файл?

Edited by Zero108

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176336
Share on other sites
В 10.01.2022 в 06:54, Zero108 сказал:

А для чего галочка Custom

сам пишешь.

Link to comment
https://ipbmafia.ru/topic/23942-nastrojki-robotstxt/?&do=findComment&comment=176373
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.


Guest
Reply to this topic...

Recently Browsing 0

  • No registered users viewing this page.