Как закрыть форум от роботов? Совсем?

[leha85]

динамические поля

Это что?)

[spoken]

leha85, да, могут влиять. Особенно, если не используют правильно кеширование.

[leha85]

spoken,спасибо. 

 

Все поотключал, все равно нагрузка капец, хотя хостера уже сменил. Не за 8000 же сервер брать. И так тариф поставил VIP, а толку нет. И онлайн то всего 115. 

[spoken]

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

[leha85]

spoken,вообщем проблема вроде решилась баном в .htaccess ip яндекса и гугла. От них запросов в день было:

 

27835 - 178.154.173.29 - Я
21699 - 66.249.78.156 - G

[spoken]

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

[leha85]

Есть настройка одна про ресурс производительности, она отключает всякие ресурсоёмкие вещи. Пробовал?

 

В логах следов DoS'а нет?

Пробовал, первым делом.

leha85, странно это всё, они следуют правилам в robots.txt и не заваливают хост запросами. Мой форум индексирует более десятка разных роботов, страниц для индексации примерно 1500, можешь представить сколько запросов может дать их массовая индексация.

Я всех пока забанил) На всякий случай. Еще и в роботс закрыл.

[spoken]

Ну в принципе понятно почему они твой robots.txt не использовали. Это надо было прочитать, перевести и выполнить.

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

[leha85]

spoken,а что тут? Я в этом не очень силен. 

[spoken]

Перевожу:

#------------------------ УДАЛИТЕ ЭТУ СТРОКУ И ВСЕ ДО НЕЁ ТАК ЧТОБЫ User-agent: * НАХОДИЛОСЬ НА ПЕРВОЙ СТРОКЕ------------------------------------------

 

Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

[leha85]

Когда ты разместил такой robots.txt на сайте и почему не добавил в него Crawl-delay?

Да давно уже разместил, а не добавил потому что не знал всех этих тонкостей. Спасибо!

[leha85]

И еще вопросик, у меня после этого всего теперь при нажатии на непрочитанную тему не перекидывает на первое непрочитанное сообщение, как можно исправить?

[leha85]

Рано я темку закрыл поработало и опять перестало.

[spoken]

leha85, ссылки, которые не работают, где находятся? Может это старые кривые ссылки. которые вставили сами пользователи в сообщении? До обновления кеша FURL у тебя были кривые ссылки.

[leha85]

spoken,да к разным темам не переходит, и к старым и к новым. А иногда переходит. Не понятно вообщем. 

[leha85]

spoken,может быть проблема во включении mod_rewrite?

[spoken]

leha85, после включения mod_rewrite надо просто перестроить кеш FURL и всё. Ты же так и не ответил, где именно находятся эти неработающие ссылки. Скажем, если кто-то внутри поста даёт такую ссылку, то она, думаю, останется битой, поскольку ты поменял структуру URL. Но, насколько понимаю, форум и по "старым" URL должен открывать темы.

[leha85]

spoken,я методом тыка решил все-таки проблему) Вот в чем было дело: 

 

define( 'IPB_USE_ONLY_ID_FURL', FALSE );

 

Я тут писал TRUE, чтобы были только цифры в адресе, тогда глючило.

 

Всем спасибо за участие  

[spoken]

leha85, я видел, что у тебя ONLY_ID на форуме, но это не должно влиять. Это бага. ИМХО.

[leha85]

spoken,ну главное заработало А то без этого очень неудобно было.