Robots.txt для IPS4

[totoshka]

подниму тему. на днях у яши бомбануло и выдало про новый параметр в вебмастере про дубли страниц

Директива Clean-param

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

 

Кто-нибудь уже решал это момент? 

прописал пока так, но есть сомнения

Disallow:
Clean-param: context /forum/gallery/image/*/
Clean-param: changelog /forum/files/file/*/
Clean-param: imageSize /forum/gallery/image/*/
Clean-param: hl /forum/topic/*/
Clean-param: browse /forum/gallery/image/*/

[Mano]

totoshka да Яшка в целом исполняет последний месяц. У меня просела выдача конкретно. А начал смотреть другие сообщества на IPS, у многих ИКС свалился и так же посещалка упала. Как бы понять ещё, в чём проблема. Либо в новой версии движка что-то нахимичили разрабы...

[Zero108]

Плевать на Y. 

Изменено 30 августа, 2021 пользователем Zero108

[Mano]

Zero108 да? А на что не плевать?) 

[Zero108]

Лично я только гуглом пользуюсь. 

[Desti]

Яндекс платит за рекламу, с каждым годом всё меньше (а пользователей всё больше), но тем не менее.. 

[Mano]

1 минуту назад, Zero108 сказал:

Лично я только гуглом пользуюсь. 

у меня просто нет опыта в оптимизации и продвижении по Гуглу. Сколько не пытался шаманить, в отличии от Яндекса Гугл всегда в какой-то жопе и не особо чтот трафик оттуда идёт. Может есть рекомендации какие?  

[macar]

1 час назад, Zero108 сказал:

Лично я только гуглом пользуюсь. 

Ты то может и да а вот те кто к тебе ходит пользуются в основном яндексом. или тебе и на них? а сайт так просто для самолюбования?

[SlawkA]

я вообще запретил янботам на сайт заходить. и с янвэбмастер удалился,

реально херня какая то.

за хрен оно это вообще нужно?

как старый прикол: если хочешь секса? купи себе б.у жигули.

только поза всегда будет одна, ты снизу.

[Mano]

Сейчас вообще обнаружил, что robots.txt у меня заменён оказывается, видимо этому причина потерь в выдаче. Странно на самом деле, но его содержимое полность поменялось 27 августа. Я так понимаю, когда поставил обновление, патч там был чтоль какой-то. Но вроде роботс то это не должно касаться, его у них в движке вообще нет, даже задумки)

Может у кого тоже роботс сменился, кто его использует? Есть такие?

[by_ix]

33 минуты назад, the.bunin сказал:

полность поменялось 27 августа.

ласт изменение в апреле, когда менял его.
мб у тебя хулиганит кто? или доступ у тебя ток? а мб сам заменил случайно.

[Orpheus]

Does this make any sense?

# Disallow directories
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

# Disallow files
Disallow: /ips4.php
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Disallow Pages
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /online/
Disallow: /contact/
Disallow: /support/
Disallow: /profile/
Disallow: /forum/movies/

# Disallow Query Strings
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

Sitemap: https://domain.com/sitemap.php

 

Изменено 31 августа, 2021 пользователем M4FIA_RaGE

[Mano]

5 часов назад, by_ix сказал:

ласт изменение в апреле, когда менял его.
мб у тебя хулиганит кто? или доступ у тебя ток? а мб сам заменил случайно.

нет, доступ только у меня и я ничего не заменял точно) даже ничего приближенного не делал

[Zero108]

16 часов назад, macar сказал:

Ты то может и да а вот те кто к тебе ходит пользуются в основном яндексом. или тебе и на них? а сайт так просто для самолюбования?

Подумываю, чтобы убрать русский язык, оставить только английский на своём сайте.

15 часов назад, SlawkA сказал:

только поза всегда будет одна, ты снизу.

Еще сзади, толкать будешь.

[Mano]

Ну вот, собственно, как я и говорил, намудрили в обновлении....теперь последовало исправление

[vsemmoney]

В 31.08.2021 в 00:09, the.bunin сказал:

totoshka да Яшка в целом исполняет последний месяц. У меня просела выдача конкретно. А начал смотреть другие сообщества на IPS, у многих ИКС свалился и так же посещалка упала. Как бы понять ещё, в чём проблема. Либо в новой версии движка что-то нахимичили разрабы...

 

Добро пожаловать) У меня после перехода на 4.5 с яндекса - 90% посещаемость, при том что икс 270 и в индексе 77 000+ результатов) вот думаю обновиться до 4.6 и шаблон новый поменять и вообще сменить всё, что возможно сменить чтобы как то спасти ситуацию

[Mano]

14 минут назад, vsemmoney сказал:

У меня после перехода на 4.5 с яндекса - 90% посещаемость

не понял, это всмысле, что упала посещалка на 90%?

сейчас пытался пробиться к Вам на форум, получилось только минуты через 3, после того как прошёл антиспам.....я думаю причина исключительно в этом

[vsemmoney]

1 минуту назад, the.bunin сказал:

не понял, это всмысле, что упала посещалка на 90%?

сейчас пытался пробиться к Вам на форум, получилось только минуты через 3, после того как прошёл антиспам.....я думаю причина исключительно в этом

 

В Cloudflare разрешен вход ботам поисковиков и людям с России, Беларуси, Украины, остальным странам нужно ждать 5 секунд для проверки. Часто были ддос атаки и как правило IP адреса за пределами России и СНГ. Сейчас буду пробовать обновлять форум, поэтому уже бессмысленно пока что заходить))

С IP какой страны заходить пытались?

[Mano]

vsemmoney ааа, понял) ну я в Турции живу, отсюда и заходил

[cyr4x]

Как раз пришло сообщение на почту, этот роботс поможет решить вопрос? 

[aLEX49566]

Нашел такое, на одном форуме:

User-agent: mauibot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: ahrefsbot
Disallow: /

User-agent: blexbot
Disallow: /

User-agent: seo spider
Disallow: /

[Maqlao]

Если в корне сайта нет файла robots.txt, но по сыллке hhtps://site-name.ru/robots.txt он открывается.

Как быть? Где я могу изменить записи robots.txt?

[macar]

16 минут назад, Anche сказал:

Как быть? Где я могу изменить записи robots.txt?

свой добавь в корень и меняй там

[Maqlao]

macar А есть готовый уже? Чтобы просто закинуть и забыть)

Я просто не шарю какой нормальный тут, а какой нет.)

[macar]

Можно и готовый. В админке есть ссылка на образец, его вполне достаточно