Jump to content

Меня разводит хостинг ?

instrumentariy
instrumentariy
in Invision Community 4 Support

Featured Replies

Posted

Добрый день !

Подскажите что это может быть ? Ещё вчера всё было нормально и работало, а сегодня форум грузится очень медленно.

Я отписался хостеру они написали следующее...

Мы наблюдаем почти полную утилизацию оперативной памяти на вашем сервере, в связи с чем наблюдается нестабильная работа веб сервера apache. 
Мы рекомендуем вам заняться оптимизацией скриптов вашего проекта и задуматься об повышении тарифного плана где больше оперативной памяти. 

free -m  
             total       used       free     shared    buffers     cached
Mem:          8005       7697        308        196        119       7015

Также мы рекомендуем настроить диррективу в файле robots.txt Crawl-delay https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Сейчас фиксируем активность поисковых ботов yandex и других, что вызывает дополнительную нагрузку на веб сервер. 

 63.172.66.160 - - [15/Jan/2017:08:50:53 +0300] "GET /topic/4108-elektroinstrument-hyundai-shurupovyort-a-1210i/?do=email&comment=35354 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
87.250.244.17 - - [15/Jan/2017:08:51:00 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=876dd6b31273b8a1cde04a6d2d52ead4 HTTP/1.1" 200 15700 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
141.8.141.132 - - [15/Jan/2017:08:51:21 +0300] "GET /topic/5380-hitachi-dh-40-mr/ HTTP/1.1" 200 24365 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:51:23 +0300] "GET /uploads/javascript_core/front_front_widgets.js.e411976cf437e46c4f8e1aabaf7a1920.js?csrfKey=54bca956665a589dd7ce19c682a96508&antiCache=2cb534ccc2 HTTP/1.1" 200 4040 "http://therepair.ru/topic/5380-hitachi-dh-40-mr/" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
163.172.64.193 - - [15/Jan/2017:08:51:29 +0300] "GET /topic/1889-galereya-otkrovennogo-vreditelstva/?do=email&comment=19125 HTTP/1.1" 200 13839 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.66.9 - - [15/Jan/2017:08:52:07 +0300] "GET /tags/DS/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:52:14 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=dbd23f87d4685b2fadf98150d689217f HTTP/1.1" 200 15684 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.216 - - [15/Jan/2017:08:52:31 +0300] "GET /tags/CHAMPION/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:53:05 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=c25b1c4ee55cb1fc812a5b1f2ed90fcc HTTP/1.1" 200 15694 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:53:21 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=2861835fc9dd89f56ebb9f8eef2cd5a6 HTTP/1.1" 200 12739 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:53:32 +0300] "GET /topic/1980-prostyie-neispravnosti-perforatora/ HTTP/1.1" 200 16505 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.112 - - [15/Jan/2017:08:53:40 +0300] "GET /topic/298-remont-perforator-makita-hr-2450-svoimi-rukami/?do=email HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.64.234 - - [15/Jan/2017:08:53:50 +0300] "GET /forum/74-oleo-mac/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.2 - - [15/Jan/2017:08:54:01 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=35fbfb512d8df774e08669c6af4a1c8f HTTP/1.1" 200 12735 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:06 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=96c3ec979c12bbae547ecfd07becc8db HTTP/1.1" 200 12728 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:54:24 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=6e152ffaf2223cc692ec371aab5bd925 HTTP/1.1" 200 15686 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:27 +0300] "GET /videos/list-all/?page=1&listType=list&csrfKey=eb8d4165ba48d693a12a5dfa642d0fe5 HTTP/1.1" 200 14200 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
216.244.66.239 - - [15/Jan/2017:08:54:33 +0300] "GET /profile/13989-korzhik/?do=content&type=forums_topic_post&change_section=1 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://

Мне кажется или меня разводят на новый тариф ?

Какая к чёрту оперативная память ? У моего тарифа 8Гб её на сервере. Оптимизация согласно публикации одного из пользователей на этом форуме - была сделана около 3-4 месяцев назад и всё летало нормально. А тут за ночь что-то произошло.

  • Цитата
    • Author

    Зашёл в админку и нажал "Что то работает не так".

    Показало что слетели таблицы базы данных - исправил автоматически и обновил кэш. Всё заработало нормально.

    А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

  • Цитата
    • Author

    Я правильно понимаю на сервере папка logs ?

    От 14.01.17 лог следующий...

    Показать контент

  • Цитата
    • Author

    В файле robots.txt ?

    Во вложении мой файл, что с ним не так ? ...

    Показать контент

  • Цитата

    нуууу, по большому счёт поисковикам на роботс пофиг. Но попробуй поставить Crawl-delay: 10  -  т.е. будет появляться раз в 10 секунд

    Проще в .htaccess  добавить

    order allow,deny
    allow from all
    deny from xxx.xxx.xxx.xxx
    deny from xxx.xxx.xxx.xxx

    xxx.xxx.xxx.xxx — это IP-адреса, с которых идет большая нагрузка.

  • Цитата
    • Author

    Где проставляется "Crawl-delay" ?

    И вот мой htaccess... Нормальный ?

    Показать контент

  • Цитата
      On 15.01.2017 at 06:09, instrumentariy said:

    Мне кажется или меня разводят на новый тариф ?

    Это вряд ли) На самом деле в последнее время наблюдается тенденция массового посещения ботов на сайт,  чтобы решить проблему, нужно просто заблокировать доступ этих левых ботов, например тот же семраш, который тебе не нужен.

    Запретить доступ можно через .htaccess, например так: 

    <Files 403.shtml>
order allow,deny
allow from all
</Files>

# Далее список юзерагентов которым мы запрещаем доступ

SetEnvIfNoCase User-Agent SemrushBot bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

     

  • Цитата

    Как вариант, я бы сделал следующее:

    1. Ограничил ботов, как писали выше.

    2. Узнал у хостера разрешенную нагрузку, возможно у вас слабенький тариф.

    3. Подумал и поставил кеширование.

  • Цитата
      On 15.01.2017 at 08:41, Respected said:

    SetEnvIfNoCase User-Agent SemrushBot bad_bot

    Respected, А что если поставить такую строку: 

    SetEnvIfNoCase User-Agent SemrushBot ban

    Будет ли работать и есть ли различие?

     

      On 15.01.2017 at 16:00, vovchik3003 said:

    3. Подумал и поставил кеширование.

    vovchik3003, а не подскажите, как это сделать, пожалуйста?

  • Цитата
      On 15.01.2017 at 16:09, benix said:

    Будет ли работать и есть ли различие?

    Нет, работать не будет, в таком случае ещё нужно изменить строку Deny from env=bad_bot

    Кстати есть в сети уже готовые списки левых ботов, например:

    Показать контент

     

  • Цитата
      On 15.01.2017 at 06:37, instrumentariy said:

    А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

    У вас слабый VDS/VPS хостинг (они все слабые так или иначе), на котором вы заюзали всю оперативу. В результате чего у вас стал тупить апач и мускул. В результате чего покоцались таблички в базе данных. Завтра и послезавтра такое обязательно повторится. Купите комп и настройте сервак дома на выделенном ip.

  • Цитата
      On 15.01.2017 at 18:35, benix said:

    А есть какие-то более бюджетные варианты? :)

    Смотря, что для вас бюджетно. 35 евро в месяц - бюджетно? Если да, то покупка своего сервера окупится за 2.5 года. Лучше потратить деньги на свой

  • Цитата
      On 15.01.2017 at 19:31, Zero108 said:

    35 евро в месяц

    А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

  • Цитата
    • Author

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

    Свой сервер это хорошо, но у меня нет опыта настройки и сборки. Каждый должен заниматься своим делом. У меня есть основная работа, сайт это хобби.

    Хочется настроить и пусть сам работает ;). Но по факту получается, настроил установил. Проходит 3-4 месяца, опять что то всплывает.

    И да вы правы, сегодня пару часов назад он опять начинал тупить, пока не обновил кэш. Мне непонятно другое, что такого произошло, если до этого всё летало нормально на этом сервере и проблем не было.

    Снимок.PNG

  • Цитата
      On 15.01.2017 at 19:42, benix said:

    А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

    Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

  • Цитата
      On 17.01.2017 at 04:10, Zero108 said:

    Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

    Главное чтобы свет не вырубали дома :D

  • Цитата
      On 16.01.2017 at 09:54, instrumentariy said:

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

    Вам на аукцион серверов, судя по всему: robot.your-server.de/order/market

    Это надежный дата центр с быстрым откликом саппорта. При заказе на аукционе указываете, что вы проживаете не в EU (Евросоюз), а потому просите вычесть (не учитывать) VAT из стоимости сервера. -18%

      On 17.01.2017 at 04:14, Respected said:

    Главное чтобы свет не вырубали дома :D

    Или чтобы кулер соседей ночью не будил.

  • Цитата
      On 16.01.2017 at 09:54, instrumentariy said:

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте

    Характеристики вашего сервера позволяют содержать высоконагруженный проект без проблем. Если у вас есть доступ к командной строке, то необходимо обновить систему сервера и произвести оптимизацию настроек веб-сервера и базы данных. Думаю, что 90% форумов успешно IPS4 работают на ресурсах в разы меньше ваших. 

    Также требуется анализ логов системы, а не тех, что вы привели выше.

  • Цитата

    для nginx кому надо: 

    # Блокируем кучу ботов
if ($http_user_agent ~* (AESOP_com_SpiderMan|AhrefsBot|SemrushBot|Alexibot|Anonymouse.org|asterias|attach|BackDoorBot|BackWeb|Baiduspider|Bandit|BatchFTP|Bigfoot|Birubot|Black.Hole|BlackWidow|BlowFish|Bot\
 mailto:craftbot@yahoo.com|BotALot|BTWebClient|Buddy|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|Cegbfeieh|CheeseBot|CherryPicker|ChinaClaw|Collector|CommentReader|Copier|CopyRightCheck|cos
mos|Crescent|Curl|Custo|DIIbot|DISCo|discobot|DittoSpyder|Dolphin|DotBot|Download\ Demon|Download\ Devil|Download\ Wonder|Download|Downloader|dragonfly|Drip|EasyDL|ebingbong|eCatch|EirGrabber|EmailCollecto
r|EmailSiphon|EmailWolf|EroCrawler|Exabot|Express\ WebPictures|Extractor|EyeNetIE|Ezooms|FairShare|FileHound|FlashGet|flunky|Foobot|FrontPage|GetRight|GetSmart|GetWeb\!|Gigabot|Go\!Zilla|Go-Ahead-Got-It|go
tit|Grabber|GrabNet|Grafula|Harvest|hloader|HMView|httplib|HTTrack|humanlinks|ia_archiver|igdeSpyder|IlseBot|Image\ Stripper|Image\ Sucker|Indy\ Library|InfoNaviRobot|InfoTekies|Intelliseek|InterGET|Intern
et\ Ninja|InternetSeer|Iria|Jakarta|Java|JennyBot|JetCar|JOC|JS-Kit|JustView|Jyxobot|Kenjin.Spider|Keyword.Density|kmSearchBot|larbin|LeechFTP|LexiBot|lftp|libWeb\/clsHTTP|libwww|likse|Linguee|LinkExchange
r|LinkextractorPro|LinkScan\/8.1a.Unix|LinkWalker|LNSpiderguy|LWP::Simple|lwp-trivial|Magnet|Mag-Net|MarkWatch|Mass\ Downloader|Mata.Hari|Memo|Microsoft\ URL\ Control|Microsoft.URL|MIDown\ tool|MIIxpc|Mirr
or|Missigua\ Locator|Mister\ PiX|MJ12bot|MLBot|moget|Mozilla.*NEWT|Mozilla\/3.Mozilla\/2.01|NAMEPROTECT|Navroad|NearSite|Net\ Vampire|NetAnts|Netcraft|NetMechanic|NetSpider|NetZIP|NextGenSearchBot|NICErsPR
O|NimbleCrawler|Ninja|NjuiceBot|NPbot|Nutch|Octopus|Offline\ Explorer|Offline\ Navigator|Openfind|OutfoxBot|PageGrabber|Papa\ Foto|pavuk|pcBrowser|PHP\ version\ tracker|PHP|Pockey|PostRank|ProPowerBot\/2.1
4|ProWebWalker|psbot|ptd-crawler|Pump|Purebot|PycURL|QueryN.Metasearch|RealDownload|Reaper|Recorder|ReGet|RepoMonkey|RMA|Siphon|SiteBot|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|Snake|
Snapbot|Snoopy|sogou|Soup|SpaceBison|SpankBot|spanner|spbot|Sqworm|Stripper|Sucker|suggybot|SuperBot|SuperHTTP|Surfbot|SurveyBot|suzuran|SWeb|Szukacz\/1.4|Tagoobot|tAkeOut|Teleport|Telesoft|The.Intraforman
t|TheNomad|TightTwatBot|Titan|toCrawl\/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|TurnitinBot\/1.5|Twiceler|URLy.Warning|Vacuum|VCI|VoidEYE|Voyager|Web\ Image\ Collector|Web\ Sucker|Web.Image.
Collector|WebAuto|WebBandit|Webclipping.com|WebCopier|WebEMailExtrac.*|WebEnhancer|WebFetch|WebGo\ IS|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebSite|Webst
er|WebStripper|WebWhacker|WebZIP|Wget|Whacker|Widow|WISENutbot|WordPress|WWW-Collector-E|WWWOFFLE|Xaldon|Xenu|Yeti|YottosBot|Zeus|Zyborg))
{
    return 403;
}

     

  • Цитата

    • Join the conversation

    You can post now and register later. If you have an account, sign in now to post with your account.
    Note: Your post will require moderator approval before it will be visible.

    Guest
    Ответить в этой теме...
    Go to topic listing

    Последние посетители 0

    • No registered users viewing this page.