Как закрыть форум от роботов? Совсем?

[leha85]

Всем привет, 

 

В последние два дня просто жуткая нагрузка на форум, он практически не работает, даже один из самых дорогих тарифов не помог) Хостер говорит что дело в роботах яндекс, гугл, бинг и т.д., которые якобы яростно атакуют сайт)) Так вот, как от них избавится?

 

В robotstxst.txt написал:

 

User-agent: *

Disallow: /

 

Что еще сделать?

 

[spoken]

robotstxst.txt переименовать в robots.txt для начала

[leha85]

spoken,спасибо, переименовал. Все равно лазают... 

[spoken]

Но сдается мне, что трындит твой хостер.

Впиши ещё

Crawl-delay: 120

[Sanshalay]

leha85, для решения проблемы нужны логи. В зависимости от хостинга они могут располагаться в разных местах. В логах будут указаны IP всех, кто заходил на сайт и время посещения

[leha85]

В логах будут указаны IP всех, кто заходил на сайт и время посещения

Очень уж много там всего.

[lg29]

У тебя приличный форум по посещаемости, нагрузка идет хорошая и трафик я думаю нужен с поиска тебе тоже, так вот я бы на твоем месте задумался уже о vds или своем сервере что облегчит нагрузку это раз, а во вторых форум пошустрее будет работать и пофиг будет на поисковых ботов.

Меняй хостера.

[leha85]

Меняй хостера.

Спасибо, можете дать пример хостера или тарифа, который подошел бы мне? Буду очень благодарен.

Статистика запросов:

[lg29]

Спасибо, можете дать пример хостера или тарифа, который подошел бы мне? Буду очень благодарен.

_reg.ru отличный хостер, проверенный временем и не мною одним. При ддосе так же оказывает первую помощь и об этом оповещает клиента, так же оказывает услуги по антиддосу, вообщем не ищи лучше, лучше только свой сервер. я сижу там на тарифе host-unlime

[spoken]

Автор, по статистике виден резкий рост нагрузки. Поисковые роботы такого не дают. Нужно обработать логи за сутки и по ним выявить IP, с которых шли запросы. Это легко сделать скриптом, зайдя на хостинг по SSH.

 

Дальше уже смотреть. Твой форум могут DOS'ить недоброжелатели. Вычислив их IP можно будет закрыть их в .htaccess

[KitsuneSolar]

Скажу только по поводу поисковиков и их избавления.

От поисковых ботов полностью не избавится.

Можно избавится от яндекса, гугля, но от менее именитых не избавится.

Дело в том, что не все поисковики соблюдают директивы в робот.тхт, к сожалению.

[Sanshalay]

Можно избавится от яндекса, гугля

А за одно и от посетителей своего сайта.

 

P.S. Скинь файл с логами на web.sanshalay[dog]gmail.com

[leha85]

P.S. Скинь файл с логами на web.sanshalay[dog]gmail.com

Скинул.

Твой форум могут DOS'ить недоброжелатели.

Хостер говорит что ddos нет, иначе они сразу блокируют аккаунт.

[Sasha9]

 

Хостер говорит что ddos нет, иначе они сразу блокируют аккаунт.

Что за хостинг?

[spoken]

leha85, о DDoS я и не говорил, можно с одного IP делать примитивный HTTP GET DoS.

[leha85]

Что за хостинг?

Sprinthost. Вообщем я переезжаю уже на другой. 

Если две БД их по очереди импортировать?

[spoken]

leha85, откуда две БД? Форум работает с одной. Для чего вторая?

[leha85]

spoken,я не знаю, она откуда вообще взялась)))

 

Вот скрин со старого хостинга:

 

 

[Lordbl4]

INFORMATION_SCHEMA обеспечивает доступ к метаданным базы данных. ©

 

в общем - служебная БД для нужд сервера, не идёт в учёт общего количества баз данных при ограничении на их количество хостингом.

[spoken]

Первая БД это системная БД MySQL, её можно сдампить, но пока не импортировать на новом хостинге.

[leha85]

Lordbl4,

Первая БД это системная БД MySQL, её можно сдампить, но пока не импортировать на новом хостинге.

Спасибо парни за помощь! А потом ее все равно придется импортировать? И можно ли импортировать БД более 50мб через phpMyAdmin? 

[spoken]

leha85, не уверен, что она понадобится. phpMyAdmin может выгружать базу со сжатием. А может ли загружать из сжатого файла? Не знаю. Можешь попросить ТП хостинга помочь с импортом базы.

[KitsuneSolar]

А потом ее все равно придется импортировать?

нет. это служебная бд. не обращая на неё внимания. вообще не трогай её.

[leha85]

Чтобы не создавать лишних тем спрошу здесь, как можно снизить число запросов к БД? Влияют ли на это хуки статистики, установленные на главной? 

[AUS]

Любые динамические поля влияют на нагрузку.