Jump to content

Как закрыть форум от роботов? Совсем?

Featured Replies

  • Author
comment_47071

spoken,спасибо. 

 

Все поотключал, все равно нагрузка капец, хотя хостера уже сменил. Не за 8000 же сервер брать. И так тариф поставил VIP, а толку нет. И онлайн то всего 115. 

comment_47072

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

  • Author
comment_47094

spoken,вообщем проблема вроде решилась баном в .htaccess ip яндекса и гугла. От них запросов в день было:

 

27835 - 178.154.173.29 - Я
21699 - 66.249.78.156 - G

comment_47096

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

  • Author
comment_47097

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

Пробовал, первым делом.

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

Я всех пока забанил) На всякий случай. Еще и в роботс закрыл.

comment_47098

Ну в принципе понятно почему они твой robots.txt не использовали. Это надо было прочитать, перевести и выполнить.

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
comment_47101

Перевожу:

#------------------------ УДАЛИТЕ ЭТУ СТРОКУ И ВСЕ ДО НЕЁ ТАК ЧТОБЫ User-agent: * НАХОДИЛОСЬ НА ПЕРВОЙ СТРОКЕ------------------------------------------

 

Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

  • Author
comment_47113


Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

Да давно уже разместил, а не добавил потому что не знал всех этих тонкостей. Спасибо!

  • Author
comment_47140

И еще вопросик, у меня после этого всего теперь при нажатии на непрочитанную тему не перекидывает на первое непрочитанное сообщение, как можно исправить?

comment_47344

leha85, ссылки, которые не работают, где находятся? Может это старые кривые ссылки. которые вставили сами пользователи в сообщении? До обновления кеша FURL у тебя были кривые ссылки.

  • Author
comment_47350

spoken,да к разным темам не переходит, и к старым и к новым. А иногда переходит. Не понятно вообщем. 

comment_47501
leha85, после включения mod_rewrite надо просто перестроить кеш FURL и всё. Ты же так и не ответил, где именно находятся эти неработающие ссылки. Скажем, если кто-то внутри поста даёт такую ссылку, то она, думаю, останется битой, поскольку ты поменял структуру URL. Но, насколько понимаю, форум и по "старым" URL должен открывать темы.
  • Author
comment_47503

spoken,я методом тыка решил все-таки проблему) Вот в чем было дело: 

 

define( 'IPB_USE_ONLY_ID_FURL', FALSE );

 

Я тут писал TRUE, чтобы были только цифры в адресе, тогда глючило.

 

Всем спасибо за участие :) 

Guest
This topic is now closed to further replies.

Последние посетители 0

  • No registered users viewing this page.