Jump to content

Меня разводит хостинг ?

instrumentariy
instrumentariy
in Invision Community 4 Support

Featured Replies

Posted
comment_120204

Добрый день !

Подскажите что это может быть ? Ещё вчера всё было нормально и работало, а сегодня форум грузится очень медленно.

Я отписался хостеру они написали следующее...

Мы наблюдаем почти полную утилизацию оперативной памяти на вашем сервере, в связи с чем наблюдается нестабильная работа веб сервера apache. 
Мы рекомендуем вам заняться оптимизацией скриптов вашего проекта и задуматься об повышении тарифного плана где больше оперативной памяти. 

free -m  
             total       used       free     shared    buffers     cached
Mem:          8005       7697        308        196        119       7015

Также мы рекомендуем настроить диррективу в файле robots.txt Crawl-delay https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Сейчас фиксируем активность поисковых ботов yandex и других, что вызывает дополнительную нагрузку на веб сервер. 

 63.172.66.160 - - [15/Jan/2017:08:50:53 +0300] "GET /topic/4108-elektroinstrument-hyundai-shurupovyort-a-1210i/?do=email&comment=35354 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
87.250.244.17 - - [15/Jan/2017:08:51:00 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=876dd6b31273b8a1cde04a6d2d52ead4 HTTP/1.1" 200 15700 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
141.8.141.132 - - [15/Jan/2017:08:51:21 +0300] "GET /topic/5380-hitachi-dh-40-mr/ HTTP/1.1" 200 24365 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:51:23 +0300] "GET /uploads/javascript_core/front_front_widgets.js.e411976cf437e46c4f8e1aabaf7a1920.js?csrfKey=54bca956665a589dd7ce19c682a96508&antiCache=2cb534ccc2 HTTP/1.1" 200 4040 "http://therepair.ru/topic/5380-hitachi-dh-40-mr/" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
163.172.64.193 - - [15/Jan/2017:08:51:29 +0300] "GET /topic/1889-galereya-otkrovennogo-vreditelstva/?do=email&comment=19125 HTTP/1.1" 200 13839 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.66.9 - - [15/Jan/2017:08:52:07 +0300] "GET /tags/DS/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:52:14 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=dbd23f87d4685b2fadf98150d689217f HTTP/1.1" 200 15684 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.216 - - [15/Jan/2017:08:52:31 +0300] "GET /tags/CHAMPION/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:53:05 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=c25b1c4ee55cb1fc812a5b1f2ed90fcc HTTP/1.1" 200 15694 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:53:21 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=2861835fc9dd89f56ebb9f8eef2cd5a6 HTTP/1.1" 200 12739 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:53:32 +0300] "GET /topic/1980-prostyie-neispravnosti-perforatora/ HTTP/1.1" 200 16505 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.112 - - [15/Jan/2017:08:53:40 +0300] "GET /topic/298-remont-perforator-makita-hr-2450-svoimi-rukami/?do=email HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.64.234 - - [15/Jan/2017:08:53:50 +0300] "GET /forum/74-oleo-mac/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.2 - - [15/Jan/2017:08:54:01 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=35fbfb512d8df774e08669c6af4a1c8f HTTP/1.1" 200 12735 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:06 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=96c3ec979c12bbae547ecfd07becc8db HTTP/1.1" 200 12728 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:54:24 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=6e152ffaf2223cc692ec371aab5bd925 HTTP/1.1" 200 15686 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:27 +0300] "GET /videos/list-all/?page=1&listType=list&csrfKey=eb8d4165ba48d693a12a5dfa642d0fe5 HTTP/1.1" 200 14200 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
216.244.66.239 - - [15/Jan/2017:08:54:33 +0300] "GET /profile/13989-korzhik/?do=content&type=forums_topic_post&change_section=1 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://

Мне кажется или меня разводят на новый тариф ?

Какая к чёрту оперативная память ? У моего тарифа 8Гб её на сервере. Оптимизация согласно публикации одного из пользователей на этом форуме - была сделана около 3-4 месяцев назад и всё летало нормально. А тут за ночь что-то произошло.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/
    Share on other sites
    comment_120205

    1. что за хостинг?

    2. версия форума?

    3. сколько ресурсов используется? 

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120205
    Share on other sites
    • Author
    comment_120206

    1. fornex.com

    2. 4.1.13.2

    3. под ресурсами вы имеете ввиду что ? сайтов ? Один.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120206
    Share on other sites
    • Author
    comment_120207

    Зашёл в админку и нажал "Что то работает не так".

    Показало что слетели таблицы базы данных - исправил автоматически и обновил кэш. Всё заработало нормально.

    А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120207
    Share on other sites
    comment_120208

    instrumentariy, логи смотри, что происходило на форуме и на сервере

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120208
    Share on other sites
    • Author
    comment_120209

    Я правильно понимаю на сервере папка logs ?

    От 14.01.17 лог следующий...

    87.250.244.17 - - [14/Jan/2017:06:24:46 +0300] "GET /videos/list-all/?page=3&listType=list&csrfKey=0a327e3ee2c57c055a7f8a66d8225791 HTTP/1.1" 200 14120 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"


    46.229.168.65 - - [14/Jan/2017:06:24:46 +0300] "GET /theme/?csrfKey=7dfce088867a0645108d9b6024382624 HTTP/1.1" 403 9073 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"
    141.8.141.132 - - [14/Jan/2017:06:24:47 +0300] "GET /videos/list-all/?page=1&listType=list&csrfKey=83b19d01370708fd9f8158ea506725a1 HTTP/1.1" 200 14211 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /topic/2134-pila-ne-zavoditsya/ HTTP/1.1" 200 20770 "http://www.yandex.ru/clck/jsredir?from=www.yandex.ru%3Byandsearch%3Bweb%3B%3B&text=&etext=1300.Ef2RzeuWcOwyWXMT-FDC_q0DVTPcR2nBDMuFxe6xtBrHI5bWYabXOJ5a08mCaB4vh97dDDQO6A61l42WIkmQndsjxhrx81hc1a_GrzaIcrY.d0d93ad1918e48c784ea64af3177f6bbf5247559&uuid=&state=PEtFfuTeVD5kpHnK9lio9bb4iM1VPfe4W5x0C0-qwfn2kxvNdn5X-fFdBX38VeGS&data=UlNrNmk5WktYejR0eWJFYk1LdmtxaUc2MWFYdHp0WGR2Qi1pUHlwRlJXd2twSVNwNDQ1SVdJelZKdWRCa3Q1RXlSajB3VEhfV3ZfSWFRakxJb09pd3hBRDFucmlWeWdmMjg5aDZjZFhLekhlek1OalYwWlJwVDh6LTdOYllZeHkzR214OHdrSzJMWQ&b64e=2&sign=0440f597c492f252953956c654490043&keyno=0&cst=AiuY0DBWFJ7q0qcCggtsKdzZWtoupsxsm6GMoDVVvrifKdSTUCuAu4MZd_zJoVNFzyUFGoIlzWOcuzUIK-THiHi_rVOK9r_iPfzJLmTs4wd09E9znQ_KFLKLDgbgxMr1fLd4WHduvTXb7UIhchK7jq2GIxYtlTA4XLeu0jvfK0wmIdOo97Oc7EYJNIR_nRnn-_1613fnz4h9xmYJHst_2XuNnA4gbkgut6oNbKLFriEwOzgLzMUUu-eOdAy9A-jcxf-JhJjkMaXyob6Tyj2Vd48mm7VqbzixfW53MYvHVLmo_m0EmzLCu76b4emHQHyyEw97MRDxbISwXka1OacaZIFLZcZqpxfcoGUzNmwg_8S2wyNjcUPhTVYyk76-Rx14z23LrreHrmWDuWF863CdmoGy1S7opC3AD27ArGtpi37xFuCmDRmBZdMQwNwdtkLfPtN8lEOLFq-0YUmTCs3vnGEyI005NN-ndtKWtu4CS38xfhsTmpROEVo4vMe7HFQDaZnch6Ijv9xukMdgj9kP6LlRO-pGfMdUPslziMpFYOzcJL1mXfnJTqraSRl8IVl63qpPCcImv5EkFQI9kZ3JPO9QBljemDUMevyux-JeDFuo4HwvNI2kppH2om-HBj2QK__bNIh_QDhfCobtU3Jtn9Dccc9xYl2FGvr0NyGcaKWNkgC8RKVfITuYMGERPQMT6XmIT0X9L2ZuoZrZPkEErg&ref=orjY4mGPRjlSKyJlbRuxUiMagqD7IEChNIhECNn1bzr2qM9KeM0leTNrt1933r2ZEhVwosMPIXjgenMqACDVsOqP9CBE16E_aR2L-k1MM6pA7e8mwokgWJHX1raYCLupIADSP7P_opMiI_pn9Ht1iB3dQN3iBysvl_vJF1acfhJzjGdBIY30DTr-0ivLtmK8TPWRU9q2AHEJGj3ojDq1kiaOfUOtqndE191GgreT6cNREXvp6s1q-hdD3UYxdS_-bquG_u1aWpXaozy6KMILUTS-q_eS7I8lJ--keIg0FPQ&l10n=ru&cts=1484364297060&mc=3.277613436819116" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2 HTTP/1.1" 200 39269 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/05e81b71abe4f22d6eb8d1a929494829_responsive.css.41041ae795729683293135533f053b58.css?v=2cb534ccc2 HTTP/1.1" 200 5476 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/90eb5adf50a8c640f633d47fd7eb1778_core.css.eb93b95acad0a93c180643cc484a621a.css?v=2cb534ccc2 HTTP/1.1" 200 4438 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/5a0da001ccc2200dc5625c3f3934497d_core_responsive.css.73ba2e2c593916aeb890bdb8b9cf5253.css?v=2cb534ccc2 HTTP/1.1" 200 2461 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/62e269ced0fdab7e30e026f1d30ae516_forums.css.12cb82c97686f480d02796635d6cec77.css?v=2cb534ccc2 HTTP/1.1" 200 1729 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/76e62c573090645fb99a15a363d8620e_forums_responsive.css.9cf1e074d2f3fbb7ce2fb0d2b159dd22.css?v=2cb534ccc2 HTTP/1.1" 200 699 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/css_built_4/258adbb6e4f3e83cd3b355f84e3fa002_custom.css.366fee964bf02e984b073cc51325cf1f.css?v=2cb534ccc2 HTTP/1.1" 200 4170 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    87.250.244.17 - - [14/Jan/2017:06:24:49 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=a075fcee2de000be35236214265961ab HTTP/1.1" 200 15699 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_js_lang_2.js.54f139a407cbde82dc636ca4b0b5fbe4.js?v=2cb534ccc2 HTTP/1.1" 200 14937 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/global_global_core.js.b919fb9e90b67a856cd174ea4398b726.js?v=2cb534ccc2 HTTP/1.1" 200 4340 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/plugins_plugins.js.502a318b5d879acf38830b772da1d369.js?v=2cb534ccc2 HTTP/1.1" 200 4645 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_front.js.e9767aff8e919027aadf9da1324ece77.js?v=2cb534ccc2 HTTP/1.1" 200 17206 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_forums/front_front_topic.js.0bf6c45b4986ea443b3355301efe47c9.js?v=2cb534ccc2 HTTP/1.1" 200 806 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_framework.js.836774ea2e8840ae681930eda459452b.js?v=2cb534ccc2 HTTP/1.1" 200 77741 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/front_front_core.js.de85ae1810b2fccffd401397ca1b8bb2.js?v=2cb534ccc2 HTTP/1.1" 200 5679 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_map.js.0fbe40e6b8ed0d747eb11829c932e0c7.js?v=2cb534ccc2 HTTP/1.1" 200 808 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    141.8.141.132 - - [14/Jan/2017:06:24:50 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=9886e11dedd6f132f37a920c2ad26a25 HTTP/1.1" 200 15685 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:50 +0300] "GET /uploads/javascript_global/root_library.js.7a1dc6bd2386a9864875f2fe03806057.js?v=2cb534ccc2 HTTP/1.1" 200 104244 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /img/Dyadkobig.gif HTTP/1.1" 200 40363 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    87.250.244.17 - - [14/Jan/2017:06:24:51 +0300] "GET /videos/list-all/?page=1&listType=thumb&csrfKey=439b24d7f0bef11b99650a278362792e HTTP/1.1" 200 13043 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/emoticons/default_smile.png HTTP/1.1" 200 1042 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/monthly_2016_12/5853f019bc67b_LogoHNY.png.ff16e698f362a167775c0df548489cbb.png HTTP/1.1" 200 50622 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/set_resources_4/84c1e40ea0e759e3f1505eb1788ddf3c_default_photo.png HTTP/1.1" 200 15014 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/profile/photo-thumb-10236.jpg HTTP/1.1" 200 5459 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /applications/core/interface/font/fontawesome-webfont.woff2?v=4.6.3 HTTP/1.1" 200 71896 "http://therepair.ru/uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/profile/photo-thumb-10360.jpg HTTP/1.1" 200 2742 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/emoticons/default_blink.png HTTP/1.1" 200 1066 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/profile/photo-4246.gif HTTP/1.1" 200 1421 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /img/dyadko%20468.png HTTP/1.1" 200 51027 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    141.8.141.132 - - [14/Jan/2017:06:24:52 +0300] "GET /videos/list-all/?page=1&listType=thumb&csrfKey=397abde907a4509440539c5a4ff37f58 HTTP/1.1" 200 13052 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    87.250.244.17 - - [14/Jan/2017:06:24:54 +0300] "GET /topic/1970-elektroinstrument-proshlogo-veka/?hl=%D1%80%D1%83%D0%B1%D0%B0%D0%BD%D0%BE%D0%BA&page=6 HTTP/1.1" 200 33697 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:55 +0300] "GET /applications/core/interface/font/icomoon.woff?v=-29n77j HTTP/1.1" 200 2676 "http://therepair.ru/uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    141.8.141.132 - - [14/Jan/2017:06:24:55 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=07997643b79b9f218990b4ba13ed6864 HTTP/1.1" 200 15684 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    37.21.101.174 - - [14/Jan/2017:06:24:56 +0300] "GET /uploads/javascript_core/front_front_widgets.js.e411976cf437e46c4f8e1aabaf7a1920.js?csrfKey=14e3bd0402e8cc4451c1486588f3324f&antiCache=2cb534ccc2 HTTP/1.1" 200 4040 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    185.137.19.120 - - [14/Jan/2017:06:24:57 +0300] "POST /topic/4127-tsirkulyarka-rebir-ie-5107g1-podskazhite-po-rotoru/ HTTP/1.1" 200 33 "http://therepair.ru/topic/4127-tsirkulyarka-rebir-ie-5107g1-podskazhite-po-rotoru/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94"
    87.250.244.17 - - [14/Jan/2017:06:24:57 +0300] "GET /topic/1970-elektroinstrument-proshlogo-veka/?page=6 HTTP/1.1" 200 33565 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    178.34.58.190 - - [14/Jan/2017:06:24:57 +0300] "GET /?app=core&module=system&controller=ajax&do=instantNotifications&csrfKey=d71577265e349f2709520b3580a3809a&notifications=0&messages=0 HTTP/1.1" 200 72 "http://therepair.ru/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
    46.229.168.72 - - [14/Jan/2017:06:24:59 +0300] "GET /theme/?csrfKey=5cd7dd0cca255915f89231dcd6966ea3 HTTP/1.1" 403 9070 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"
    141.8.141.132 - - [14/Jan/2017:06:24:59 +0300] "GET /topic/1547-zaryadnoe-ustroystvo-bosch-al-1115-cv/?_fromLogin=1 HTTP/1.1" 200 28941 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    87.250.244.17 - - [14/Jan/2017:06:24:59 +0300] "GET /topic/2134-pila-ne-zavoditsya/ HTTP/1.1" 200 20771 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    68.180.229.105 - - [14/Jan/2017:06:25:00 +0300] "GET /forum/90-aeg/?page=2 HTTP/1.1" 200 14461 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
    212.19.2.69 - - [14/Jan/2017:06:25:00 +0300] "POST /topic/2847-remont-3-faznyih-generatorov/ HTTP/1.1" 200 13 "http://therepair.ru/topic/2847-remont-3-faznyih-generatorov/" "Mozilla/5.0 (Windows NT 5.1; rv:50.0) Gecko/20100101 Firefox/50.0"
    37.21.101.174 - - [14/Jan/2017:06:25:00 +0300] "GET /uploads/set_resources_4/bad45e1d52f47bed50543a03679e350f_totop.png HTTP/1.1" 200 1883 "http://therepair.ru/uploads/css_built_4/258adbb6e4f3e83cd3b355f84e3fa002_custom.css.366fee964bf02e984b073cc51325cf1f.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
    141.8.141.132 - - [14/Jan/2017:06:25:01 +0300] "GET /topic/1547-zaryadnoe-ustroystvo-bosch-al-1115-cv/ HTTP/1.1" 200 28907 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    68.180.229.105 - - [14/Jan/2017:06:25:01 +0300] "GET /topic/2260-perforator-te-30-a36/ HTTP/1.1" 200 13717 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
    87.250.244.17 - - [14/Jan/2017:06:25:02 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=1efd3ff11aa6edcb5dd04c2344e36598 HTTP/1.1" 200 15701 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120209
    Share on other sites
    comment_120210

    instrumentariy, пробуй ботов ограничить.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120210
    Share on other sites
    • Author
    comment_120211

    В файле robots.txt ?

    Во вложении мой файл, что с ним не так ? ...

    User-agent: *
    Allow: /applications/core/interface/font/
    Disallow: /applications/
    Disallow: /datastore/
    Disallow: /plugins/
    Disallow: /_piwik/
    Disallow: /system/
    Disallow: /Credits.txt
    Disallow: /upgrading.html
    Disallow: /login/
    Disallow: /register/
    Disallow: /lostpassword/
    Disallow: /search/
    Disallow: /online/
    Disallow: /contact/
    Disallow: /activity/
    Disallow: /discover/
    Disallow: /?tab=*
    Disallow: /index.php?*
    Disallow: /*?app=*
    Disallow: /*sortby=*
    Disallow: /profile/*/?do=*
    Disallow: /profile/*/content/
    Disallow: /clients/info/

    User-agent: Yandex
    Allow: /applications/core/interface/font/
    Disallow: /applications/
    Disallow: /datastore/
    Disallow: /plugins/
    Disallow: /_piwik/
    Disallow: /system/
    Disallow: /Credits.txt
    Disallow: /upgrading.html
    Disallow: /login/
    Disallow: /register/
    Disallow: /lostpassword/
    Disallow: /search/
    Disallow: /online/
    Disallow: /contact/
    Disallow: /activity/
    Disallow: /discover/
    Disallow: /?tab=*
    Disallow: /index.php?*
    Disallow: /*?app=*
    Disallow: /*sortby=*
    Disallow: /profile/*/?do=*
    Disallow: /profile/*/content/
    Disallow: /clients/info/

    Host: therepair.ru
    Sitemap: http://therepair.ru/sitemap.php

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120211
    Share on other sites
    comment_120214

    нуууу, по большому счёт поисковикам на роботс пофиг. Но попробуй поставить Crawl-delay: 10  -  т.е. будет появляться раз в 10 секунд

    Проще в .htaccess  добавить

    order allow,deny
    allow from all
    deny from xxx.xxx.xxx.xxx
    deny from xxx.xxx.xxx.xxx

    xxx.xxx.xxx.xxx — это IP-адреса, с которых идет большая нагрузка.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120214
    Share on other sites
    • Author
    comment_120217

    Где проставляется "Crawl-delay" ?

    И вот мой htaccess... Нормальный ?

    ## IPS Suite Forum SEO

    <IfModule mod_rewrite.c>
        RewriteEngine on
        RewriteBase /
        RewriteCond %{HTTP_HOST} ^roocms
        RewriteRule (.*) http://www.therepair.ru/$1 [R=301,L]
        RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
        RewriteRule ^index\.php$ http://www.therepair.ru/ [R=301,L]
            RewriteRule \.(js|css|jpeg|jpg|gif|png|ico|map)(\?|$) /404error.php [L,NC]
        RewriteCond %{REQUEST_FILENAME} !-f
        RewriteCond %{REQUEST_FILENAME} !-d
        RewriteRule ^(.*)$ index.php [L,QSA]
    </IfModule>
    #php_value display_errors 1
    #php_value display_startup_errors 1
    #php_value error_reporting E_ALL


    ## End IPS Suite Forum SEO

    ## Begin - Expires caching
    <IfModule mod_expires.c>

    ## This rule will create an ETag for files based only on the modification timestamp and their size. 
    ## Note: It may cause problems on your server and you may need to remove it
    FileETag MTime Size

    SetOutputFilter DEFLATE
    Header set Expires "max-age=29030400, public"
    Header unset ETag
    FileETag None

    # Enable expiration control
    ExpiresActive On

    # Default expiration: 1 hour after request
    ExpiresDefault "now plus 1 hour"

    # CSS and JS expiration: 1 week after request
    ExpiresByType text/css "now plus 1 week"
    ExpiresByType application/javascript "now plus 1 week"
    ExpiresByType application/x-javascript "now plus 1 week"

    # Image files expiration: 1 month after request
    ExpiresByType image/bmp "now plus 1 month" 
    ExpiresByType image/gif "now plus 1 month"
    ExpiresByType image/jpg "now plus 1 month"
    ExpiresByType image/jpeg "now plus 1 month"
    ExpiresByType image/jp2 "now plus 1 month"
    ExpiresByType image/pipeg "now plus 1 month"
    ExpiresByType image/png "now plus 1 month"
    ExpiresByType image/svg+xml "now plus 1 month"
    ExpiresByType image/tiff "now plus 1 month"
    ExpiresByType image/vnd.microsoft.icon "now plus 1 month"
    ExpiresByType image/x-icon "now plus 1 month"
    ExpiresByType image/ico "now plus 1 month"
    ExpiresByType image/icon "now plus 1 month"
    ExpiresByType text/ico "now plus 1 month"
    ExpiresByType application/ico "now plus 1 month"
    ExpiresByType image/vnd.wap.wbmp "now plus 1 month"
    ExpiresByType application/vnd.wap.wbxml "now plus 1 month"

    # Other optimizations
    ExpiresByType application/x-gzip "access plus 1 month"
    ExpiresByType application/x-shockwave-flash "access plus 1 month"

    </IfModule>
    ## End - Expires caching

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120217
    Share on other sites
    comment_120219
    2 часа назад, instrumentariy сказал:

    Мне кажется или меня разводят на новый тариф ?

    Это вряд ли) На самом деле в последнее время наблюдается тенденция массового посещения ботов на сайт,  чтобы решить проблему, нужно просто заблокировать доступ этих левых ботов, например тот же семраш, который тебе не нужен.

    Запретить доступ можно через .htaccess, например так: 

    <Files 403.shtml>
order allow,deny
allow from all
</Files>

# Далее список юзерагентов которым мы запрещаем доступ

SetEnvIfNoCase User-Agent SemrushBot bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

     

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120219
    Share on other sites
    comment_120242

    Как вариант, я бы сделал следующее:

    1. Ограничил ботов, как писали выше.

    2. Узнал у хостера разрешенную нагрузку, возможно у вас слабенький тариф.

    3. Подумал и поставил кеширование.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120242
    Share on other sites
    comment_120243
    7 часов назад, Respected сказал:

    SetEnvIfNoCase User-Agent SemrushBot bad_bot

    Respected, А что если поставить такую строку: 

    SetEnvIfNoCase User-Agent SemrushBot ban

    Будет ли работать и есть ли различие?

     

    8 минут назад, vovchik3003 сказал:

    3. Подумал и поставил кеширование.

    vovchik3003, а не подскажите, как это сделать, пожалуйста?

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120243
    Share on other sites
    comment_120245
    5 минут назад, benix сказал:

    Будет ли работать и есть ли различие?

    Нет, работать не будет, в таком случае ещё нужно изменить строку Deny from env=bad_bot

    Кстати есть в сети уже готовые списки левых ботов, например:

    Спойлер 
    
SetEnvIfNoCase User-Agent "AESOP_com_SpiderMan" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "SemrushBot" bad_bot
SetEnvIfNoCase User-Agent "Alexibot" bad_bot
SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot
SetEnvIfNoCase User-Agent "asterias" bad_bot
SetEnvIfNoCase User-Agent "attach" bad_bot
SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot
SetEnvIfNoCase User-Agent "BackWeb" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "Bandit" bad_bot
SetEnvIfNoCase User-Agent "BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "Birubot" bad_bot
SetEnvIfNoCase User-Agent "Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "BlackWidow" bad_bot
SetEnvIfNoCase User-Agent "BlowFish" bad_bot
SetEnvIfNoCase User-Agent "Bot mailto:[email protected]" bad_bot
SetEnvIfNoCase User-Agent "BotALot" bad_bot
SetEnvIfNoCase User-Agent "BTWebClient" bad_bot
SetEnvIfNoCase User-Agent "Buddy" bad_bot
SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "Butterfly" bad_bot
SetEnvIfNoCase User-Agent "CamontSpider" bad_bot
SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot
SetEnvIfNoCase User-Agent "CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "Collector" bad_bot
SetEnvIfNoCase User-Agent "CommentReader" bad_bot
SetEnvIfNoCase User-Agent "Copier" bad_bot
SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "cosmos" bad_bot
SetEnvIfNoCase User-Agent "Crescent" bad_bot
SetEnvIfNoCase User-Agent "Curl" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "DIIbot" bad_bot
SetEnvIfNoCase User-Agent "DISCo" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "Dolphin" bad_bot
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "Download Demon" bad_bot
SetEnvIfNoCase User-Agent "Download Devil" bad_bot
SetEnvIfNoCase User-Agent "Download Wonder" bad_bot
SetEnvIfNoCase User-Agent "Download" bad_bot
SetEnvIfNoCase User-Agent "Downloader" bad_bot
SetEnvIfNoCase User-Agent "dragonfly" bad_bot
SetEnvIfNoCase User-Agent "Drip" bad_bot
SetEnvIfNoCase User-Agent "EasyDL" bad_bot
SetEnvIfNoCase User-Agent "ebingbong" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EirGrabber" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "Express WebPictures" bad_bot
SetEnvIfNoCase User-Agent "Extractor" bad_bot
SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "FairShare" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "FlashGet" bad_bot
SetEnvIfNoCase User-Agent "flunky" bad_bot
SetEnvIfNoCase User-Agent "Foobot" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetSmart" bad_bot
SetEnvIfNoCase User-Agent "GetWeb!" bad_bot
SetEnvIfNoCase User-Agent "Gigabot" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "gold\ crawler" bad_bot
SetEnvIfNoCase User-Agent "gotit" bad_bot
SetEnvIfNoCase User-Agent "Grabber" bad_bot
SetEnvIfNoCase User-Agent "GrabNet" bad_bot
SetEnvIfNoCase User-Agent "Grafula" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "hloader" bad_bot
SetEnvIfNoCase User-Agent "HMView" bad_bot
SetEnvIfNoCase User-Agent "httplib" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "humanlinks" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "igdeSpyder" bad_bot
SetEnvIfNoCase User-Agent "IlseBot" bad_bot
SetEnvIfNoCase User-Agent "Image Stripper" bad_bot
SetEnvIfNoCase User-Agent "Image Sucker" bad_bot
SetEnvIfNoCase User-Agent "Indy Library" bad_bot
SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "InfoTekies" bad_bot
SetEnvIfNoCase User-Agent "Intelliseek" bad_bot
SetEnvIfNoCase User-Agent "InterGET" bad_bot
SetEnvIfNoCase User-Agent "Internet Ninja" bad_bot
SetEnvIfNoCase User-Agent "InternetSeer" bad_bot
SetEnvIfNoCase User-Agent "Iria" bad_bot
SetEnvIfNoCase User-Agent "Jakarta" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "JennyBot" bad_bot
SetEnvIfNoCase User-Agent "JetCar" bad_bot
SetEnvIfNoCase User-Agent "JOC" bad_bot
SetEnvIfNoCase User-Agent "JS-Kit" bad_bot
SetEnvIfNoCase User-Agent "JustView" bad_bot
SetEnvIfNoCase User-Agent "Jyxobot" bad_bot
SetEnvIfNoCase User-Agent "Kenjin.Spider" bad_bot
SetEnvIfNoCase User-Agent "Keyword.Density" bad_bot
SetEnvIfNoCase User-Agent "kmSearchBot" bad_bot
SetEnvIfNoCase User-Agent "larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechFTP" bad_bot
SetEnvIfNoCase User-Agent "LexiBot" bad_bot
SetEnvIfNoCase User-Agent "lftp" bad_bot
SetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "libwww" bad_bot
SetEnvIfNoCase User-Agent "likse" bad_bot
SetEnvIfNoCase User-Agent "Linguee" bad_bot
SetEnvIfNoCase User-Agent "LinkExchanger" bad_bot
SetEnvIfNoCase User-Agent "LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_bot
SetEnvIfNoCase User-Agent "LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "LNSpiderguy" bad_bot
SetEnvIfNoCase User-Agent "LWP::Simple" bad_bot
SetEnvIfNoCase User-Agent "lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "Magnet" bad_bot
SetEnvIfNoCase User-Agent "Mag-Net" bad_bot
SetEnvIfNoCase User-Agent "MarkWatch" bad_bot
SetEnvIfNoCase User-Agent "Mass Downloader" bad_bot
SetEnvIfNoCase User-Agent "Mata.Hari" bad_bot
SetEnvIfNoCase User-Agent "Memo" bad_bot
SetEnvIfNoCase User-Agent "Microsoft URL Control" bad_bot
SetEnvIfNoCase User-Agent "Microsoft.URL" bad_bot
SetEnvIfNoCase User-Agent "MIDown tool" bad_bot
SetEnvIfNoCase User-Agent "MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "Mirror" bad_bot
SetEnvIfNoCase User-Agent "Missigua Locator" bad_bot
SetEnvIfNoCase User-Agent "Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "MLBot" bad_bot
SetEnvIfNoCase User-Agent "moget" bad_bot
SetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_bot
SetEnvIfNoCase User-Agent "NAMEPROTECT" bad_bot
SetEnvIfNoCase User-Agent "Navroad" bad_bot
SetEnvIfNoCase User-Agent "NearSite" bad_bot
SetEnvIfNoCase User-Agent "Net Vampire" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "Netcraft" bad_bot
SetEnvIfNoCase User-Agent "NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "NetSpider" bad_bot
SetEnvIfNoCase User-Agent "NetZIP" bad_bot
SetEnvIfNoCase User-Agent "NextGenSearchBot" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NimbleCrawler" bad_bot
SetEnvIfNoCase User-Agent "Ninja" bad_bot
SetEnvIfNoCase User-Agent "NjuiceBot" bad_bot
SetEnvIfNoCase User-Agent "NPbot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "Octopus" bad_bot
SetEnvIfNoCase User-Agent "Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "Offline Navigator" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "OutfoxBot" bad_bot
SetEnvIfNoCase User-Agent "PageGrabber" bad_bot
SetEnvIfNoCase User-Agent "Papa Foto" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "pcBrowser" bad_bot
SetEnvIfNoCase User-Agent "PHP version tracker" bad_bot
SetEnvIfNoCase User-Agent "PHP" bad_bot
SetEnvIfNoCase User-Agent "Pockey" bad_bot
SetEnvIfNoCase User-Agent "PostRank" bad_bot
SetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "psbot" bad_bot
SetEnvIfNoCase User-Agent "ptd-crawler" bad_bot
SetEnvIfNoCase User-Agent "Pump" bad_bot
SetEnvIfNoCase User-Agent "Purebot" bad_bot
SetEnvIfNoCase User-Agent "PycURL" bad_bot
SetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "Reaper" bad_bot
SetEnvIfNoCase User-Agent "Recorder" bad_bot
SetEnvIfNoCase User-Agent "ReGet" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "RMA" bad_bot
SetEnvIfNoCase User-Agent "Siphon" bad_bot
SetEnvIfNoCase User-Agent "SiteBot" bad_bot
SetEnvIfNoCase User-Agent "sitecheck.internetseer.com" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SlySearch" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "Snake" bad_bot
SetEnvIfNoCase User-Agent "Snapbot" bad_bot
SetEnvIfNoCase User-Agent "Snoopy" bad_bot
SetEnvIfNoCase User-Agent "sogou" bad_bot
SetEnvIfNoCase User-Agent "Soup" bad_bot
SetEnvIfNoCase User-Agent "SpaceBison" bad_bot
SetEnvIfNoCase User-Agent "SpankBot" bad_bot
SetEnvIfNoCase User-Agent "spanner" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "Sqworm" bad_bot
SetEnvIfNoCase User-Agent "Stripper" bad_bot
SetEnvIfNoCase User-Agent "Sucker" bad_bot
SetEnvIfNoCase User-Agent "suggybot" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "Surfbot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "suzuran" bad_bot
SetEnvIfNoCase User-Agent "SWeb" bad_bot
SetEnvIfNoCase User-Agent "Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "Tagoobot" bad_bot
SetEnvIfNoCase User-Agent "tAkeOut" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "The.Intraformant" bad_bot
SetEnvIfNoCase User-Agent "TheNomad" bad_bot
SetEnvIfNoCase User-Agent "TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "Titan" bad_bot
SetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "True_Robot" bad_bot
SetEnvIfNoCase User-Agent "ttCrawler" bad_bot
SetEnvIfNoCase User-Agent "turingos" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_bot
SetEnvIfNoCase User-Agent "Twiceler" bad_bot
SetEnvIfNoCase User-Agent "URLy.Warning" bad_bot
SetEnvIfNoCase User-Agent "Vacuum" bad_bot
SetEnvIfNoCase User-Agent "VCI" bad_bot
SetEnvIfNoCase User-Agent "VoidEYE" bad_bot
SetEnvIfNoCase User-Agent "Voyager" bad_bot
SetEnvIfNoCase User-Agent "Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "Web Sucker" bad_bot
SetEnvIfNoCase User-Agent "Web.Image.Collector" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "Webclipping.com" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_bot
SetEnvIfNoCase User-Agent "WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "WebFetch" bad_bot
SetEnvIfNoCase User-Agent "WebGo IS" bad_bot
SetEnvIfNoCase User-Agent "WebLeacher" bad_bot
SetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "WebSauger" bad_bot
SetEnvIfNoCase User-Agent "Website eXtractor" bad_bot
SetEnvIfNoCase User-Agent "Website Quester" bad_bot
SetEnvIfNoCase User-Agent "WebSite" bad_bot
SetEnvIfNoCase User-Agent "Webster" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebWhacker" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Whacker" bad_bot
SetEnvIfNoCase User-Agent "Widow" bad_bot
SetEnvIfNoCase User-Agent "WISENutbot" bad_bot
SetEnvIfNoCase User-Agent "WordPress" bad_bot
SetEnvIfNoCase User-Agent "WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon" bad_bot
SetEnvIfNoCase User-Agent "Xenu" bad_bot
SetEnvIfNoCase User-Agent "Yeti" bad_bot
SetEnvIfNoCase User-Agent "YottosBot" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
SetEnvIfNoCase User-Agent "Zyborg" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

     

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120245
    Share on other sites
    comment_120250
    10 часов назад, instrumentariy сказал:

    А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

    У вас слабый VDS/VPS хостинг (они все слабые так или иначе), на котором вы заюзали всю оперативу. В результате чего у вас стал тупить апач и мускул. В результате чего покоцались таблички в базе данных. Завтра и послезавтра такое обязательно повторится. Купите комп и настройте сервак дома на выделенном ip.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120250
    Share on other sites
    comment_120269
    1 час назад, Zero108 сказал:

    Купите комп и настройте сервак дома на выделенном ip

    А есть какие-то более бюджетные варианты? :)

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120269
    Share on other sites
    comment_120276
    55 минут назад, benix сказал:

    А есть какие-то более бюджетные варианты? :)

    Смотря, что для вас бюджетно. 35 евро в месяц - бюджетно? Если да, то покупка своего сервера окупится за 2.5 года. Лучше потратить деньги на свой

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120276
    Share on other sites
    comment_120278
    8 минут назад, Zero108 сказал:

    35 евро в месяц

    А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120278
    Share on other sites
    • Author
    comment_120290

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

    Свой сервер это хорошо, но у меня нет опыта настройки и сборки. Каждый должен заниматься своим делом. У меня есть основная работа, сайт это хобби.

    Хочется настроить и пусть сам работает ;). Но по факту получается, настроил установил. Проходит 3-4 месяца, опять что то всплывает.

    И да вы правы, сегодня пару часов назад он опять начинал тупить, пока не обновил кэш. Мне непонятно другое, что такого произошло, если до этого всё летало нормально на этом сервере и проблем не было.

    Снимок.PNG

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120290
    Share on other sites
    comment_120335
    В 15.01.2017 в 23:42, benix сказал:

    А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

    Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120335
    Share on other sites
    comment_120336
    Только что, Zero108 сказал:

    Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

    Главное чтобы свет не вырубали дома :D

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120336
    Share on other sites
    comment_120337
    18 часов назад, instrumentariy сказал:

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

    Вам на аукцион серверов, судя по всему: robot.your-server.de/order/market

    Это надежный дата центр с быстрым откликом саппорта. При заказе на аукционе указываете, что вы проживаете не в EU (Евросоюз), а потому просите вычесть (не учитывать) VAT из стоимости сервера. -18%

    4 минуты назад, Respected сказал:

    Главное чтобы свет не вырубали дома :D

    Или чтобы кулер соседей ночью не будил.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120337
    Share on other sites
    comment_120339
    19 часов назад, instrumentariy сказал:

    Плачу 43 евро в месяц, характеристики во вложенном скриншоте

    Характеристики вашего сервера позволяют содержать высоконагруженный проект без проблем. Если у вас есть доступ к командной строке, то необходимо обновить систему сервера и произвести оптимизацию настроек веб-сервера и базы данных. Думаю, что 90% форумов успешно IPS4 работают на ресурсах в разы меньше ваших. 

    Также требуется анализ логов системы, а не тех, что вы привели выше.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120339
    Share on other sites
    comment_120344

    отказаться от апача и уйти на nginx еще больше полегчает.

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120344
    Share on other sites
    comment_120345

    для nginx кому надо: 

    # Блокируем кучу ботов
if ($http_user_agent ~* (AESOP_com_SpiderMan|AhrefsBot|SemrushBot|Alexibot|Anonymouse.org|asterias|attach|BackDoorBot|BackWeb|Baiduspider|Bandit|BatchFTP|Bigfoot|Birubot|Black.Hole|BlackWidow|BlowFish|Bot\
 mailto:[email protected]|BotALot|BTWebClient|Buddy|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|Cegbfeieh|CheeseBot|CherryPicker|ChinaClaw|Collector|CommentReader|Copier|CopyRightCheck|cos
mos|Crescent|Curl|Custo|DIIbot|DISCo|discobot|DittoSpyder|Dolphin|DotBot|Download\ Demon|Download\ Devil|Download\ Wonder|Download|Downloader|dragonfly|Drip|EasyDL|ebingbong|eCatch|EirGrabber|EmailCollecto
r|EmailSiphon|EmailWolf|EroCrawler|Exabot|Express\ WebPictures|Extractor|EyeNetIE|Ezooms|FairShare|FileHound|FlashGet|flunky|Foobot|FrontPage|GetRight|GetSmart|GetWeb\!|Gigabot|Go\!Zilla|Go-Ahead-Got-It|go
tit|Grabber|GrabNet|Grafula|Harvest|hloader|HMView|httplib|HTTrack|humanlinks|ia_archiver|igdeSpyder|IlseBot|Image\ Stripper|Image\ Sucker|Indy\ Library|InfoNaviRobot|InfoTekies|Intelliseek|InterGET|Intern
et\ Ninja|InternetSeer|Iria|Jakarta|Java|JennyBot|JetCar|JOC|JS-Kit|JustView|Jyxobot|Kenjin.Spider|Keyword.Density|kmSearchBot|larbin|LeechFTP|LexiBot|lftp|libWeb\/clsHTTP|libwww|likse|Linguee|LinkExchange
r|LinkextractorPro|LinkScan\/8.1a.Unix|LinkWalker|LNSpiderguy|LWP::Simple|lwp-trivial|Magnet|Mag-Net|MarkWatch|Mass\ Downloader|Mata.Hari|Memo|Microsoft\ URL\ Control|Microsoft.URL|MIDown\ tool|MIIxpc|Mirr
or|Missigua\ Locator|Mister\ PiX|MJ12bot|MLBot|moget|Mozilla.*NEWT|Mozilla\/3.Mozilla\/2.01|NAMEPROTECT|Navroad|NearSite|Net\ Vampire|NetAnts|Netcraft|NetMechanic|NetSpider|NetZIP|NextGenSearchBot|NICErsPR
O|NimbleCrawler|Ninja|NjuiceBot|NPbot|Nutch|Octopus|Offline\ Explorer|Offline\ Navigator|Openfind|OutfoxBot|PageGrabber|Papa\ Foto|pavuk|pcBrowser|PHP\ version\ tracker|PHP|Pockey|PostRank|ProPowerBot\/2.1
4|ProWebWalker|psbot|ptd-crawler|Pump|Purebot|PycURL|QueryN.Metasearch|RealDownload|Reaper|Recorder|ReGet|RepoMonkey|RMA|Siphon|SiteBot|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|Snake|
Snapbot|Snoopy|sogou|Soup|SpaceBison|SpankBot|spanner|spbot|Sqworm|Stripper|Sucker|suggybot|SuperBot|SuperHTTP|Surfbot|SurveyBot|suzuran|SWeb|Szukacz\/1.4|Tagoobot|tAkeOut|Teleport|Telesoft|The.Intraforman
t|TheNomad|TightTwatBot|Titan|toCrawl\/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|TurnitinBot\/1.5|Twiceler|URLy.Warning|Vacuum|VCI|VoidEYE|Voyager|Web\ Image\ Collector|Web\ Sucker|Web.Image.
Collector|WebAuto|WebBandit|Webclipping.com|WebCopier|WebEMailExtrac.*|WebEnhancer|WebFetch|WebGo\ IS|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebSite|Webst
er|WebStripper|WebWhacker|WebZIP|Wget|Whacker|Widow|WISENutbot|WordPress|WWW-Collector-E|WWWOFFLE|Xaldon|Xenu|Yeti|YottosBot|Zeus|Zyborg))
{
    return 403;
}

     

  • Цитата
    • Link to comment
    https://ipbmafia.ru/topic/16318-menya-razvodit-hosting/?&do=findComment&comment=120345
    Share on other sites

    Join the conversation

    You can post now and register later. If you have an account, sign in now to post with your account.
    Note: Your post will require moderator approval before it will be visible.

    Guest
    Ответить в этой теме...
    Go to topic listing

    Последние посетители 0

    • No registered users viewing this page.