Jump to content

Как закрыть форум от роботов? Совсем?

Featured Replies

  • Author

spoken,спасибо. 

 

Все поотключал, все равно нагрузка капец, хотя хостера уже сменил. Не за 8000 же сервер брать. И так тариф поставил VIP, а толку нет. И онлайн то всего 115. 

  • Author

spoken,вообщем проблема вроде решилась баном в .htaccess ip яндекса и гугла. От них запросов в день было:

 

27835 - 178.154.173.29 - Я
21699 - 66.249.78.156 - G

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

  • Author

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

Пробовал, первым делом.

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

Я всех пока забанил) На всякий случай. Еще и в роботс закрыл.

Ну в принципе понятно почему они твой robots.txt не использовали. Это надо было прочитать, перевести и выполнить.

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

Перевожу:

#------------------------ УДАЛИТЕ ЭТУ СТРОКУ И ВСЕ ДО НЕЁ ТАК ЧТОБЫ User-agent: * НАХОДИЛОСЬ НА ПЕРВОЙ СТРОКЕ------------------------------------------

 

Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

  • Author


Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

Да давно уже разместил, а не добавил потому что не знал всех этих тонкостей. Спасибо!

  • Author

И еще вопросик, у меня после этого всего теперь при нажатии на непрочитанную тему не перекидывает на первое непрочитанное сообщение, как можно исправить?

leha85, ссылки, которые не работают, где находятся? Может это старые кривые ссылки. которые вставили сами пользователи в сообщении? До обновления кеша FURL у тебя были кривые ссылки.

leha85, после включения mod_rewrite надо просто перестроить кеш FURL и всё. Ты же так и не ответил, где именно находятся эти неработающие ссылки. Скажем, если кто-то внутри поста даёт такую ссылку, то она, думаю, останется битой, поскольку ты поменял структуру URL. Но, насколько понимаю, форум и по "старым" URL должен открывать темы.
  • Author

spoken,я методом тыка решил все-таки проблему) Вот в чем было дело: 

 

define( 'IPB_USE_ONLY_ID_FURL', FALSE );

 

Я тут писал TRUE, чтобы были только цифры в адресе, тогда глючило.

 

Всем спасибо за участие :) 

Guest
This topic is now closed to further replies.

Последние посетители 0

  • No registered users viewing this page.