Jump to content

Featured Replies

подниму тему. на днях у яши бомбануло и выдало про новый параметр в вебмастере про дубли страниц

Директива Clean-param

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

 

Кто-нибудь уже решал это момент? 

прописал пока так, но есть сомнения

Disallow:
Clean-param: context /forum/gallery/image/*/
Clean-param: changelog /forum/files/file/*/
Clean-param: imageSize /forum/gallery/image/*/
Clean-param: hl /forum/topic/*/
Clean-param: browse /forum/gallery/image/*/

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172026
Share on other sites
  • Replies 77
  • Created
  • Последний ответ
Expand topic overview

Лучшие авторы в теме

Лучшие авторы в теме

Most Popular Posts

anomal3
anomal3

смотрите логи /var/log/nginx или apache2 Робот не будет индексировать такие ссылки. А для SEO важно, чем больше проиндексировано страниц, тем выше ТИЦ

Redneck
Redneck

надо указывать, просто не стал писать. в конце прописываем: Sitemap: http://сайт.ru/sitemap.php Host: сайт.ru Если сайт на https, то это обязательно надо указать и в карте и в хосте: Sitem

ram108
ram108

Для Yandex не обязательно все тоже самое повторять, достаточно будет первой секции. У меня robots.txt попроще: User-agent: * Disallow: /admin/ Disallow: /profile/ Disallow: /discover/ Disallow: /s

Posted Images

Expand topic overview

totoshka да Яшка в целом исполняет последний месяц. У меня просела выдача конкретно. А начал смотреть другие сообщества на IPS, у многих ИКС свалился и так же посещалка упала. Как бы понять ещё, в чём проблема. Либо в новой версии движка что-то нахимичили разрабы...

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172027
Share on other sites

Плевать на Y. 

DACFij4XUAEonWo.jpg

Edited by Zero108

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172028
Share on other sites

Zero108 да? А на что не плевать?) 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172033
Share on other sites

Лично я только гуглом пользуюсь. 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172035
Share on other sites

Яндекс платит за рекламу, с каждым годом всё меньше (а пользователей всё больше), но тем не менее.. 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172036
Share on other sites
1 минуту назад, Zero108 сказал:

Лично я только гуглом пользуюсь. 

у меня просто нет опыта в оптимизации и продвижении по Гуглу. Сколько не пытался шаманить, в отличии от Яндекса Гугл всегда в какой-то жопе и не особо чтот трафик оттуда идёт. Может есть рекомендации какие? :) 

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172037
Share on other sites
1 час назад, Zero108 сказал:

Лично я только гуглом пользуюсь. 

Ты то может и да а вот те кто к тебе ходит пользуются в основном яндексом. или тебе и на них? а сайт так просто для самолюбования?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172040
Share on other sites

я вообще запретил янботам на сайт заходить. и с янвэбмастер удалился,

реально херня какая то.

за хрен оно это вообще нужно?

как старый прикол: если хочешь секса? купи себе б.у жигули.

только поза всегда будет одна, ты снизу.

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172041
Share on other sites

Сейчас вообще обнаружил, что robots.txt у меня заменён оказывается, видимо этому причина потерь в выдаче. Странно на самом деле, но его содержимое полность поменялось 27 августа. Я так понимаю, когда поставил обновление, патч там был чтоль какой-то. Но вроде роботс то это не должно касаться, его у них в движке вообще нет, даже задумки)

Может у кого тоже роботс сменился, кто его использует? Есть такие?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172044
Share on other sites
33 минуты назад, the.bunin сказал:

полность поменялось 27 августа.

ласт изменение в апреле, когда менял его.
мб у тебя хулиганит кто? или доступ у тебя ток? а мб сам заменил случайно.

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172045
Share on other sites

Does this make any sense?

# Disallow directories
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /applications/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /system/

# Disallow files
Disallow: /ips4.php
Disallow: /404error.php
Disallow: /Credits.txt
Disallow: /error.php
Disallow: /upgrading.html

# Disallow Pages
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /online/
Disallow: /contact/
Disallow: /support/
Disallow: /profile/
Disallow: /forum/movies/

# Disallow Query Strings
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /*/?do=download
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /*?do=add
Disallow: /*?do=email
Disallow: /*?do=getNewComment
Disallow: /*?do=getLastComment
Disallow: /*?do=findComment*

Sitemap: https://domain.com/sitemap.php

 

Edited by M4FIA_RaGE

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172047
Share on other sites
5 часов назад, by_ix сказал:

ласт изменение в апреле, когда менял его.
мб у тебя хулиганит кто? или доступ у тебя ток? а мб сам заменил случайно.

нет, доступ только у меня и я ничего не заменял точно) даже ничего приближенного не делал

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172048
Share on other sites
16 часов назад, macar сказал:

Ты то может и да а вот те кто к тебе ходит пользуются в основном яндексом. или тебе и на них? а сайт так просто для самолюбования?

Подумываю, чтобы убрать русский язык, оставить только английский на своём сайте.

15 часов назад, SlawkA сказал:

только поза всегда будет одна, ты снизу.

Еще сзади, толкать будешь.

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172053
Share on other sites

Ну вот, собственно, как я и говорил, намудрили в обновлении....теперь последовало исправление :)

image.thumb.png.4547fa35fd167a370b8c4d3393250660.png

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172076
Share on other sites
В 31.08.2021 в 00:09, the.bunin сказал:

totoshka да Яшка в целом исполняет последний месяц. У меня просела выдача конкретно. А начал смотреть другие сообщества на IPS, у многих ИКС свалился и так же посещалка упала. Как бы понять ещё, в чём проблема. Либо в новой версии движка что-то нахимичили разрабы...

 

Добро пожаловать) У меня после перехода на 4.5 с яндекса - 90% посещаемость, при том что икс 270 и в индексе 77 000+ результатов) вот думаю обновиться до 4.6 и шаблон новый поменять и вообще сменить всё, что возможно сменить чтобы как то спасти ситуацию

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172077
Share on other sites
14 минут назад, vsemmoney сказал:

У меня после перехода на 4.5 с яндекса - 90% посещаемость

не понял, это всмысле, что упала посещалка на 90%?

сейчас пытался пробиться к Вам на форум, получилось только минуты через 3, после того как прошёл антиспам.....я думаю причина исключительно в этом

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172078
Share on other sites
1 минуту назад, the.bunin сказал:

не понял, это всмысле, что упала посещалка на 90%?

сейчас пытался пробиться к Вам на форум, получилось только минуты через 3, после того как прошёл антиспам.....я думаю причина исключительно в этом

 

В Cloudflare разрешен вход ботам поисковиков и людям с России, Беларуси, Украины, остальным странам нужно ждать 5 секунд для проверки. Часто были ддос атаки и как правило IP адреса за пределами России и СНГ. Сейчас буду пробовать обновлять форум, поэтому уже бессмысленно пока что заходить))

С IP какой страны заходить пытались?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172079
Share on other sites

vsemmoney ааа, понял) ну я в Турции живу, отсюда и заходил

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172080
Share on other sites

Как раз пришло сообщение на почту, этот роботс поможет решить вопрос? 

38EB5A6A-DA2B-4EB9-8137-368271A0D404.png

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=172089
Share on other sites
  • 9 месяцев спустя...

Нашел такое, на одном форуме:

User-agent: mauibot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: ahrefsbot
Disallow: /

User-agent: blexbot
Disallow: /

User-agent: seo spider
Disallow: /
Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=182238
Share on other sites
  • 1 месяц спустя...

Если в корне сайта нет файла robots.txt, но по сыллке hhtps://site-name.ru/robots.txt он открывается.

Как быть? Где я могу изменить записи robots.txt?

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=184037
Share on other sites
16 минут назад, Anche сказал:

Как быть? Где я могу изменить записи robots.txt?

свой добавь в корень и меняй там

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=184038
Share on other sites

macar А есть готовый уже? Чтобы просто закинуть и забыть)

Я просто не шарю какой нормальный тут, а какой нет.)

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=184040
Share on other sites

Можно и готовый. В админке есть ссылка на образец, его вполне достаточно

Link to comment
https://ipbmafia.ru/topic/13473-robotstxt-dlya-ips4/?&do=findComment&comment=184042
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.


Guest
Ответить в этой теме...

Последние посетители 0

  • No registered users viewing this page.