Jump to content

Как закрыть форум от роботов? Совсем?

Featured Replies

Всем привет, 

 

В последние два дня просто жуткая нагрузка на форум, он практически не работает, даже один из самых дорогих тарифов не помог) Хостер говорит что дело в роботах яндекс, гугл, бинг и т.д., которые якобы яростно атакуют сайт)) Так вот, как от них избавится?

 

В robotstxst.txt написал:

 

User-agent: *
Disallow: /

 

Что еще сделать?

 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/
Share on other sites

robotstxst.txt переименовать в robots.txt для начала

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46684
Share on other sites

spoken,спасибо, переименовал. Все равно лазают... 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46685
Share on other sites

Но сдается мне, что трындит твой хостер.



Впиши ещё

Crawl-delay: 120
Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46686
Share on other sites

leha85, для решения проблемы нужны логи. В зависимости от хостинга они могут располагаться в разных местах. В логах будут указаны IP всех, кто заходил на сайт и время посещения

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46687
Share on other sites


В логах будут указаны IP всех, кто заходил на сайт и время посещения

Очень уж много там всего.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46688
Share on other sites

У тебя приличный форум по посещаемости, нагрузка идет хорошая и трафик я думаю нужен с поиска тебе тоже, так вот я бы на твоем месте задумался уже о vds или своем сервере что облегчит нагрузку это раз, а во вторых форум пошустрее будет работать и пофиг будет на поисковых ботов.

Меняй хостера.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46690
Share on other sites


Меняй хостера.

Спасибо, можете дать пример хостера или тарифа, который подошел бы мне? Буду очень благодарен.



Статистика запросов:

post-6351-0-27531100-1382180087_thumb.pn

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46691
Share on other sites

Спасибо, можете дать пример хостера или тарифа, который подошел бы мне? Буду очень благодарен.

_reg.ru отличный хостер, проверенный временем и не мною одним. При ддосе так же оказывает первую помощь и об этом оповещает клиента, так же оказывает услуги по антиддосу, вообщем не ищи лучше, лучше только свой сервер. я сижу там на тарифе host-unlime

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46696
Share on other sites

Автор, по статистике виден резкий рост нагрузки. Поисковые роботы такого не дают. Нужно обработать логи за сутки и по ним выявить IP, с которых шли запросы. Это легко сделать скриптом, зайдя на хостинг по SSH.

 

Дальше уже смотреть. Твой форум могут DOS'ить недоброжелатели. Вычислив их IP можно будет закрыть их в .htaccess

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46722
Share on other sites

Скажу только по поводу поисковиков и их избавления.

От поисковых ботов полностью не избавится.

Можно избавится от яндекса, гугля, но от менее именитых не избавится.

Дело в том, что не все поисковики соблюдают директивы в робот.тхт, к сожалению.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46726
Share on other sites

Можно избавится от яндекса, гугля

А за одно и от посетителей своего сайта.

 

P.S. Скинь файл с логами на web.sanshalay[dog]gmail.com

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46727
Share on other sites


P.S. Скинь файл с логами на web.sanshalay[dog]gmail.com

Скинул.




Твой форум могут DOS'ить недоброжелатели.

Хостер говорит что ddos нет, иначе они сразу блокируют аккаунт.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46792
Share on other sites

 

Хостер говорит что ddos нет, иначе они сразу блокируют аккаунт.

Что за хостинг?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46812
Share on other sites

leha85, о DDoS я и не говорил, можно с одного IP делать примитивный HTTP GET DoS.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46813
Share on other sites


Что за хостинг?

Sprinthost. Вообщем я переезжаю уже на другой. 



Если две БД их по очереди импортировать?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46816
Share on other sites

leha85, откуда две БД? Форум работает с одной. Для чего вторая?

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46817
Share on other sites

spoken,я не знаю, она откуда вообще взялась)))

 

Вот скрин со старого хостинга:

 

post-6351-0-92866600-1382260591.jpg

 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46818
Share on other sites

INFORMATION_SCHEMA обеспечивает доступ к метаданным базы данных. ©

 

в общем - служебная БД для нужд сервера, не идёт в учёт общего количества баз данных при ограничении на их количество хостингом.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46819
Share on other sites

Первая БД это системная БД MySQL, её можно сдампить, но пока не импортировать на новом хостинге.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46820
Share on other sites

Lordbl4,


Первая БД это системная БД MySQL, её можно сдампить, но пока не импортировать на новом хостинге.

Спасибо парни за помощь! А потом ее все равно придется импортировать? И можно ли импортировать БД более 50мб через phpMyAdmin? 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46828
Share on other sites

leha85, не уверен, что она понадобится. phpMyAdmin может выгружать базу со сжатием. А может ли загружать из сжатого файла? Не знаю. Можешь попросить ТП хостинга помочь с импортом базы.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46829
Share on other sites


А потом ее все равно придется импортировать?

нет. это служебная бд. не обращая на неё внимания. вообще не трогай её.

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=46832
Share on other sites

Чтобы не создавать лишних тем спрошу здесь, как можно снизить число запросов к БД? Влияют ли на это хуки статистики, установленные на главной? 

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47044
Share on other sites

Любые динамические поля влияют на нагрузку.  

Link to comment
https://ipbmafia.ru/topic/6062-kak-zakryt-forum-ot-robotov-sovsem/?&do=findComment&comment=47045
Share on other sites
Guest
This topic is now closed to further replies.

Последние посетители 0

  • No registered users viewing this page.