Jump to content

Как закрыть форум от роботов? Совсем?

Featured Replies


динамические поля

Это что?)

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47062
Share on other sites

leha85, да, могут влиять. Особенно, если не используют правильно кеширование.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47069
Share on other sites

spoken,спасибо. 

 

Все поотключал, все равно нагрузка капец, хотя хостера уже сменил. Не за 8000 же сервер брать. И так тариф поставил VIP, а толку нет. И онлайн то всего 115. 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47071
Share on other sites

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47072
Share on other sites

spoken,вообщем проблема вроде решилась баном в .htaccess ip яндекса и гугла. От них запросов в день было:

 

27835 - 178.154.173.29 - Я
21699 - 66.249.78.156 - G

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47094
Share on other sites

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47096
Share on other sites

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

Пробовал, первым делом.

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

Я всех пока забанил) На всякий случай. Еще и в роботс закрыл.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47097
Share on other sites

Ну в принципе понятно почему они твой robots.txt не использовали. Это надо было прочитать, перевести и выполнить.

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47098
Share on other sites

spoken,а что тут? Я в этом не очень силен. 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47100
Share on other sites

Перевожу:

#------------------------ УДАЛИТЕ ЭТУ СТРОКУ И ВСЕ ДО НЕЁ ТАК ЧТОБЫ User-agent: * НАХОДИЛОСЬ НА ПЕРВОЙ СТРОКЕ------------------------------------------

 

Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47101
Share on other sites


Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

Да давно уже разместил, а не добавил потому что не знал всех этих тонкостей. Спасибо!

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47113
Share on other sites

И еще вопросик, у меня после этого всего теперь при нажатии на непрочитанную тему не перекидывает на первое непрочитанное сообщение, как можно исправить?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47140
Share on other sites

Рано я темку закрыл поработало и опять перестало.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47317
Share on other sites

leha85, ссылки, которые не работают, где находятся? Может это старые кривые ссылки. которые вставили сами пользователи в сообщении? До обновления кеша FURL у тебя были кривые ссылки.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47344
Share on other sites

spoken,да к разным темам не переходит, и к старым и к новым. А иногда переходит. Не понятно вообщем. 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47350
Share on other sites

spoken,может быть проблема во включении mod_rewrite?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47499
Share on other sites
leha85, после включения mod_rewrite надо просто перестроить кеш FURL и всё. Ты же так и не ответил, где именно находятся эти неработающие ссылки. Скажем, если кто-то внутри поста даёт такую ссылку, то она, думаю, останется битой, поскольку ты поменял структуру URL. Но, насколько понимаю, форум и по "старым" URL должен открывать темы.
Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47501
Share on other sites

spoken,я методом тыка решил все-таки проблему) Вот в чем было дело: 

 

define( 'IPB_USE_ONLY_ID_FURL', FALSE );

 

Я тут писал TRUE, чтобы были только цифры в адресе, тогда глючило.

 

Всем спасибо за участие :) 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47503
Share on other sites
leha85, я видел, что у тебя ONLY_ID на форуме, но это не должно влиять. Это бага. ИМХО.
Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47512
Share on other sites

spoken,ну главное заработало :) А то без этого очень неудобно было. :)

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47514
Share on other sites
Guest
This topic is now closed to further replies.

Последние посетители 0

  • No registered users viewing this page.