Меня разводит хостинг ?

Posted 15 января, 20177 yr

comment_120204

Добрый день !

Подскажите что это может быть ? Ещё вчера всё было нормально и работало, а сегодня форум грузится очень медленно.

Я отписался хостеру они написали следующее...

Мы наблюдаем почти полную утилизацию оперативной памяти на вашем сервере, в связи с чем наблюдается нестабильная работа веб сервера apache.
Мы рекомендуем вам заняться оптимизацией скриптов вашего проекта и задуматься об повышении тарифного плана где больше оперативной памяти.

free -m  
             total       used       free     shared    buffers     cached
Mem:          8005       7697        308        196        119       7015

Также мы рекомендуем настроить диррективу в файле robots.txt Crawl-delay https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Сейчас фиксируем активность поисковых ботов yandex и других, что вызывает дополнительную нагрузку на веб сервер.

 63.172.66.160 - - [15/Jan/2017:08:50:53 +0300] "GET /topic/4108-elektroinstrument-hyundai-shurupovyort-a-1210i/?do=email&comment=35354 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
87.250.244.17 - - [15/Jan/2017:08:51:00 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=876dd6b31273b8a1cde04a6d2d52ead4 HTTP/1.1" 200 15700 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
141.8.141.132 - - [15/Jan/2017:08:51:21 +0300] "GET /topic/5380-hitachi-dh-40-mr/ HTTP/1.1" 200 24365 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:51:23 +0300] "GET /uploads/javascript_core/front_front_widgets.js.e411976cf437e46c4f8e1aabaf7a1920.js?csrfKey=54bca956665a589dd7ce19c682a96508&antiCache=2cb534ccc2 HTTP/1.1" 200 4040 "http://therepair.ru/topic/5380-hitachi-dh-40-mr/" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"  
163.172.64.193 - - [15/Jan/2017:08:51:29 +0300] "GET /topic/1889-galereya-otkrovennogo-vreditelstva/?do=email&comment=19125 HTTP/1.1" 200 13839 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.66.9 - - [15/Jan/2017:08:52:07 +0300] "GET /tags/DS/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:52:14 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=dbd23f87d4685b2fadf98150d689217f HTTP/1.1" 200 15684 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.216 - - [15/Jan/2017:08:52:31 +0300] "GET /tags/CHAMPION/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.17 - - [15/Jan/2017:08:53:05 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=c25b1c4ee55cb1fc812a5b1f2ed90fcc HTTP/1.1" 200 15694 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:53:21 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=2861835fc9dd89f56ebb9f8eef2cd5a6 HTTP/1.1" 200 12739 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:53:32 +0300] "GET /topic/1980-prostyie-neispravnosti-perforatora/ HTTP/1.1" 200 16505 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
163.172.65.112 - - [15/Jan/2017:08:53:40 +0300] "GET /topic/298-remont-perforator-makita-hr-2450-svoimi-rukami/?do=email HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
163.172.64.234 - - [15/Jan/2017:08:53:50 +0300] "GET /forum/74-oleo-mac/ HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"  
87.250.244.2 - - [15/Jan/2017:08:54:01 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=35fbfb512d8df774e08669c6af4a1c8f HTTP/1.1" 200 12735 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:06 +0300] "GET /videos/list-all/?page=4&listType=thumb&csrfKey=96c3ec979c12bbae547ecfd07becc8db HTTP/1.1" 200 12728 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.2 - - [15/Jan/2017:08:54:24 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=6e152ffaf2223cc692ec371aab5bd925 HTTP/1.1" 200 15686 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
87.250.244.17 - - [15/Jan/2017:08:54:27 +0300] "GET /videos/list-all/?page=1&listType=list&csrfKey=eb8d4165ba48d693a12a5dfa642d0fe5 HTTP/1.1" 200 14200 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"  
216.244.66.239 - - [15/Jan/2017:08:54:33 +0300] "GET /profile/13989-korzhik/?do=content&type=forums_topic_post&change_section=1 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://

Мне кажется или меня разводят на новый тариф ?

Какая к чёрту оперативная память ? У моего тарифа 8Гб её на сервере. Оптимизация согласно публикации одного из пользователей на этом форуме - была сделана около 3-4 месяцев назад и всё летало нормально. А тут за ночь что-то произошло.

Цитата

15 января, 20177 yr

comment_120205

1. что за хостинг?

2. версия форума?

3. сколько ресурсов используется?

Цитата

15 января, 20177 yr

Author

comment_120206

1. fornex.com

2. 4.1.13.2

3. под ресурсами вы имеете ввиду что ? сайтов ? Один.

Цитата

15 января, 20177 yr

Author

comment_120207

Зашёл в админку и нажал "Что то работает не так".

Показало что слетели таблицы базы данных - исправил автоматически и обновил кэш. Всё заработало нормально.

А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

Цитата

15 января, 20177 yr

comment_120208

instrumentariy, логи смотри, что происходило на форуме и на сервере

Цитата

15 января, 20177 yr

Author

comment_120209

Я правильно понимаю на сервере папка logs ?

От 14.01.17 лог следующий...

87.250.244.17 - - [14/Jan/2017:06:24:46 +0300] "GET /videos/list-all/?page=3&listType=list&csrfKey=0a327e3ee2c57c055a7f8a66d8225791 HTTP/1.1" 200 14120 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

46.229.168.65 - - [14/Jan/2017:06:24:46 +0300] "GET /theme/?csrfKey=7dfce088867a0645108d9b6024382624 HTTP/1.1" 403 9073 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"
141.8.141.132 - - [14/Jan/2017:06:24:47 +0300] "GET /videos/list-all/?page=1&listType=list&csrfKey=83b19d01370708fd9f8158ea506725a1 HTTP/1.1" 200 14211 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /topic/2134-pila-ne-zavoditsya/ HTTP/1.1" 200 20770 "http://www.yandex.ru/clck/jsredir?from=www.yandex.ru%3Byandsearch%3Bweb%3B%3B&text=&etext=1300.Ef2RzeuWcOwyWXMT-FDC_q0DVTPcR2nBDMuFxe6xtBrHI5bWYabXOJ5a08mCaB4vh97dDDQO6A61l42WIkmQndsjxhrx81hc1a_GrzaIcrY.d0d93ad1918e48c784ea64af3177f6bbf5247559&uuid=&state=PEtFfuTeVD5kpHnK9lio9bb4iM1VPfe4W5x0C0-qwfn2kxvNdn5X-fFdBX38VeGS&data=UlNrNmk5WktYejR0eWJFYk1LdmtxaUc2MWFYdHp0WGR2Qi1pUHlwRlJXd2twSVNwNDQ1SVdJelZKdWRCa3Q1RXlSajB3VEhfV3ZfSWFRakxJb09pd3hBRDFucmlWeWdmMjg5aDZjZFhLekhlek1OalYwWlJwVDh6LTdOYllZeHkzR214OHdrSzJMWQ&b64e=2&sign=0440f597c492f252953956c654490043&keyno=0&cst=AiuY0DBWFJ7q0qcCggtsKdzZWtoupsxsm6GMoDVVvrifKdSTUCuAu4MZd_zJoVNFzyUFGoIlzWOcuzUIK-THiHi_rVOK9r_iPfzJLmTs4wd09E9znQ_KFLKLDgbgxMr1fLd4WHduvTXb7UIhchK7jq2GIxYtlTA4XLeu0jvfK0wmIdOo97Oc7EYJNIR_nRnn-_1613fnz4h9xmYJHst_2XuNnA4gbkgut6oNbKLFriEwOzgLzMUUu-eOdAy9A-jcxf-JhJjkMaXyob6Tyj2Vd48mm7VqbzixfW53MYvHVLmo_m0EmzLCu76b4emHQHyyEw97MRDxbISwXka1OacaZIFLZcZqpxfcoGUzNmwg_8S2wyNjcUPhTVYyk76-Rx14z23LrreHrmWDuWF863CdmoGy1S7opC3AD27ArGtpi37xFuCmDRmBZdMQwNwdtkLfPtN8lEOLFq-0YUmTCs3vnGEyI005NN-ndtKWtu4CS38xfhsTmpROEVo4vMe7HFQDaZnch6Ijv9xukMdgj9kP6LlRO-pGfMdUPslziMpFYOzcJL1mXfnJTqraSRl8IVl63qpPCcImv5EkFQI9kZ3JPO9QBljemDUMevyux-JeDFuo4HwvNI2kppH2om-HBj2QK__bNIh_QDhfCobtU3Jtn9Dccc9xYl2FGvr0NyGcaKWNkgC8RKVfITuYMGERPQMT6XmIT0X9L2ZuoZrZPkEErg&ref=orjY4mGPRjlSKyJlbRuxUiMagqD7IEChNIhECNn1bzr2qM9KeM0leTNrt1933r2ZEhVwosMPIXjgenMqACDVsOqP9CBE16E_aR2L-k1MM6pA7e8mwokgWJHX1raYCLupIADSP7P_opMiI_pn9Ht1iB3dQN3iBysvl_vJF1acfhJzjGdBIY30DTr-0ivLtmK8TPWRU9q2AHEJGj3ojDq1kiaOfUOtqndE191GgreT6cNREXvp6s1q-hdD3UYxdS_-bquG_u1aWpXaozy6KMILUTS-q_eS7I8lJ--keIg0FPQ&l10n=ru&cts=1484364297060&mc=3.277613436819116" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2 HTTP/1.1" 200 39269 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/05e81b71abe4f22d6eb8d1a929494829_responsive.css.41041ae795729683293135533f053b58.css?v=2cb534ccc2 HTTP/1.1" 200 5476 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/90eb5adf50a8c640f633d47fd7eb1778_core.css.eb93b95acad0a93c180643cc484a621a.css?v=2cb534ccc2 HTTP/1.1" 200 4438 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/5a0da001ccc2200dc5625c3f3934497d_core_responsive.css.73ba2e2c593916aeb890bdb8b9cf5253.css?v=2cb534ccc2 HTTP/1.1" 200 2461 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/62e269ced0fdab7e30e026f1d30ae516_forums.css.12cb82c97686f480d02796635d6cec77.css?v=2cb534ccc2 HTTP/1.1" 200 1729 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:48 +0300] "GET /uploads/css_built_4/76e62c573090645fb99a15a363d8620e_forums_responsive.css.9cf1e074d2f3fbb7ce2fb0d2b159dd22.css?v=2cb534ccc2 HTTP/1.1" 200 699 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/css_built_4/258adbb6e4f3e83cd3b355f84e3fa002_custom.css.366fee964bf02e984b073cc51325cf1f.css?v=2cb534ccc2 HTTP/1.1" 200 4170 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
87.250.244.17 - - [14/Jan/2017:06:24:49 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=a075fcee2de000be35236214265961ab HTTP/1.1" 200 15699 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_js_lang_2.js.54f139a407cbde82dc636ca4b0b5fbe4.js?v=2cb534ccc2 HTTP/1.1" 200 14937 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/global_global_core.js.b919fb9e90b67a856cd174ea4398b726.js?v=2cb534ccc2 HTTP/1.1" 200 4340 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/plugins_plugins.js.502a318b5d879acf38830b772da1d369.js?v=2cb534ccc2 HTTP/1.1" 200 4645 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_front.js.e9767aff8e919027aadf9da1324ece77.js?v=2cb534ccc2 HTTP/1.1" 200 17206 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_forums/front_front_topic.js.0bf6c45b4986ea443b3355301efe47c9.js?v=2cb534ccc2 HTTP/1.1" 200 806 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_framework.js.836774ea2e8840ae681930eda459452b.js?v=2cb534ccc2 HTTP/1.1" 200 77741 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_core/front_front_core.js.de85ae1810b2fccffd401397ca1b8bb2.js?v=2cb534ccc2 HTTP/1.1" 200 5679 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:49 +0300] "GET /uploads/javascript_global/root_map.js.0fbe40e6b8ed0d747eb11829c932e0c7.js?v=2cb534ccc2 HTTP/1.1" 200 808 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
141.8.141.132 - - [14/Jan/2017:06:24:50 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=9886e11dedd6f132f37a920c2ad26a25 HTTP/1.1" 200 15685 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:50 +0300] "GET /uploads/javascript_global/root_library.js.7a1dc6bd2386a9864875f2fe03806057.js?v=2cb534ccc2 HTTP/1.1" 200 104244 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /img/Dyadkobig.gif HTTP/1.1" 200 40363 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
87.250.244.17 - - [14/Jan/2017:06:24:51 +0300] "GET /videos/list-all/?page=1&listType=thumb&csrfKey=439b24d7f0bef11b99650a278362792e HTTP/1.1" 200 13043 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/emoticons/default_smile.png HTTP/1.1" 200 1042 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/monthly_2016_12/5853f019bc67b_LogoHNY.png.ff16e698f362a167775c0df548489cbb.png HTTP/1.1" 200 50622 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/set_resources_4/84c1e40ea0e759e3f1505eb1788ddf3c_default_photo.png HTTP/1.1" 200 15014 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /uploads/profile/photo-thumb-10236.jpg HTTP/1.1" 200 5459 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:51 +0300] "GET /applications/core/interface/font/fontawesome-webfont.woff2?v=4.6.3 HTTP/1.1" 200 71896 "http://therepair.ru/uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/profile/photo-thumb-10360.jpg HTTP/1.1" 200 2742 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/emoticons/default_blink.png HTTP/1.1" 200 1066 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /uploads/profile/photo-4246.gif HTTP/1.1" 200 1421 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
37.21.101.174 - - [14/Jan/2017:06:24:52 +0300] "GET /img/dyadko%20468.png HTTP/1.1" 200 51027 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
141.8.141.132 - - [14/Jan/2017:06:24:52 +0300] "GET /videos/list-all/?page=1&listType=thumb&csrfKey=397abde907a4509440539c5a4ff37f58 HTTP/1.1" 200 13052 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
87.250.244.17 - - [14/Jan/2017:06:24:54 +0300] "GET /topic/1970-elektroinstrument-proshlogo-veka/?hl=%D1%80%D1%83%D0%B1%D0%B0%D0%BD%D0%BE%D0%BA&page=6 HTTP/1.1" 200 33697 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:55 +0300] "GET /applications/core/interface/font/icomoon.woff?v=-29n77j HTTP/1.1" 200 2676 "http://therepair.ru/uploads/css_built_4/341e4a57816af3ba440d891ca87450ff_framework.css.8e988ee4cf18b7c922c41bfc45aa57cf.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
141.8.141.132 - - [14/Jan/2017:06:24:55 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=07997643b79b9f218990b4ba13ed6864 HTTP/1.1" 200 15684 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
37.21.101.174 - - [14/Jan/2017:06:24:56 +0300] "GET /uploads/javascript_core/front_front_widgets.js.e411976cf437e46c4f8e1aabaf7a1920.js?csrfKey=14e3bd0402e8cc4451c1486588f3324f&antiCache=2cb534ccc2 HTTP/1.1" 200 4040 "http://therepair.ru/topic/2134-pila-ne-zavoditsya/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
185.137.19.120 - - [14/Jan/2017:06:24:57 +0300] "POST /topic/4127-tsirkulyarka-rebir-ie-5107g1-podskazhite-po-rotoru/ HTTP/1.1" 200 33 "http://therepair.ru/topic/4127-tsirkulyarka-rebir-ie-5107g1-podskazhite-po-rotoru/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94"
87.250.244.17 - - [14/Jan/2017:06:24:57 +0300] "GET /topic/1970-elektroinstrument-proshlogo-veka/?page=6 HTTP/1.1" 200 33565 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.34.58.190 - - [14/Jan/2017:06:24:57 +0300] "GET /?app=core&module=system&controller=ajax&do=instantNotifications&csrfKey=d71577265e349f2709520b3580a3809a&notifications=0&messages=0 HTTP/1.1" 200 72 "http://therepair.ru/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
46.229.168.72 - - [14/Jan/2017:06:24:59 +0300] "GET /theme/?csrfKey=5cd7dd0cca255915f89231dcd6966ea3 HTTP/1.1" 403 9070 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"
141.8.141.132 - - [14/Jan/2017:06:24:59 +0300] "GET /topic/1547-zaryadnoe-ustroystvo-bosch-al-1115-cv/?_fromLogin=1 HTTP/1.1" 200 28941 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
87.250.244.17 - - [14/Jan/2017:06:24:59 +0300] "GET /topic/2134-pila-ne-zavoditsya/ HTTP/1.1" 200 20771 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
68.180.229.105 - - [14/Jan/2017:06:25:00 +0300] "GET /forum/90-aeg/?page=2 HTTP/1.1" 200 14461 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
212.19.2.69 - - [14/Jan/2017:06:25:00 +0300] "POST /topic/2847-remont-3-faznyih-generatorov/ HTTP/1.1" 200 13 "http://therepair.ru/topic/2847-remont-3-faznyih-generatorov/" "Mozilla/5.0 (Windows NT 5.1; rv:50.0) Gecko/20100101 Firefox/50.0"
37.21.101.174 - - [14/Jan/2017:06:25:00 +0300] "GET /uploads/set_resources_4/bad45e1d52f47bed50543a03679e350f_totop.png HTTP/1.1" 200 1883 "http://therepair.ru/uploads/css_built_4/258adbb6e4f3e83cd3b355f84e3fa002_custom.css.366fee964bf02e984b073cc51325cf1f.css?v=2cb534ccc2" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.94 (Edition Campaign 34)"
141.8.141.132 - - [14/Jan/2017:06:25:01 +0300] "GET /topic/1547-zaryadnoe-ustroystvo-bosch-al-1115-cv/ HTTP/1.1" 200 28907 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
68.180.229.105 - - [14/Jan/2017:06:25:01 +0300] "GET /topic/2260-perforator-te-30-a36/ HTTP/1.1" 200 13717 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
87.250.244.17 - - [14/Jan/2017:06:25:02 +0300] "GET /videos/category/1-video/?page=1&listType=thumb&csrfKey=1efd3ff11aa6edcb5dd04c2344e36598 HTTP/1.1" 200 15701 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Цитата

15 января, 20177 yr

comment_120210

instrumentariy, пробуй ботов ограничить.

Цитата

15 января, 20177 yr

Author

comment_120211

В файле robots.txt ?

Во вложении мой файл, что с ним не так ? ...

User-agent: *
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

User-agent: Yandex
Allow: /applications/core/interface/font/
Disallow: /applications/
Disallow: /datastore/
Disallow: /plugins/
Disallow: /_piwik/
Disallow: /system/
Disallow: /Credits.txt
Disallow: /upgrading.html
Disallow: /login/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /search/
Disallow: /online/
Disallow: /contact/
Disallow: /activity/
Disallow: /discover/
Disallow: /?tab=*
Disallow: /index.php?*
Disallow: /*?app=*
Disallow: /*sortby=*
Disallow: /profile/*/?do=*
Disallow: /profile/*/content/
Disallow: /clients/info/

Host: therepair.ru
Sitemap: http://therepair.ru/sitemap.php

Цитата

15 января, 20177 yr

comment_120214

нуууу, по большому счёт поисковикам на роботс пофиг. Но попробуй поставить Crawl-delay: 10 - т.е. будет появляться раз в 10 секунд

Проще в .htaccess добавить

order allow,deny
allow from all
deny from xxx.xxx.xxx.xxx
deny from xxx.xxx.xxx.xxx

xxx.xxx.xxx.xxx — это IP-адреса, с которых идет большая нагрузка.

Цитата

15 января, 20177 yr

Author

comment_120217

Где проставляется "Crawl-delay" ?

И вот мой htaccess... Нормальный ?

## IPS Suite Forum SEO

<IfModule mod_rewrite.c>
   RewriteEngine on
   RewriteBase /
   RewriteCond %{HTTP_HOST} ^roocms
   RewriteRule (.*) http://www.therepair.ru/$1 [R=301,L]
   RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
   RewriteRule ^index\.php$ http://www.therepair.ru/ [R=301,L]
RewriteRule \.(js|css|jpeg|jpg|gif|png|ico|map)(\?|$) /404error.php [L,NC]
   RewriteCond %{REQUEST_FILENAME} !-f
   RewriteCond %{REQUEST_FILENAME} !-d
   RewriteRule ^(.*)$ index.php [L,QSA]
</IfModule>
#php_value display_errors 1
#php_value display_startup_errors 1
#php_value error_reporting E_ALL

## End IPS Suite Forum SEO

## Begin - Expires caching
<IfModule mod_expires.c>

## This rule will create an ETag for files based only on the modification timestamp and their size.
## Note: It may cause problems on your server and you may need to remove it
FileETag MTime Size

SetOutputFilter DEFLATE
Header set Expires "max-age=29030400, public"
Header unset ETag
FileETag None

# Enable expiration control
ExpiresActive On

# Default expiration: 1 hour after request
ExpiresDefault "now plus 1 hour"

# CSS and JS expiration: 1 week after request
ExpiresByType text/css "now plus 1 week"
ExpiresByType application/javascript "now plus 1 week"
ExpiresByType application/x-javascript "now plus 1 week"

# Image files expiration: 1 month after request
ExpiresByType image/bmp "now plus 1 month"
ExpiresByType image/gif "now plus 1 month"
ExpiresByType image/jpg "now plus 1 month"
ExpiresByType image/jpeg "now plus 1 month"
ExpiresByType image/jp2 "now plus 1 month"
ExpiresByType image/pipeg "now plus 1 month"
ExpiresByType image/png "now plus 1 month"
ExpiresByType image/svg+xml "now plus 1 month"
ExpiresByType image/tiff "now plus 1 month"
ExpiresByType image/vnd.microsoft.icon "now plus 1 month"
ExpiresByType image/x-icon "now plus 1 month"
ExpiresByType image/ico "now plus 1 month"
ExpiresByType image/icon "now plus 1 month"
ExpiresByType text/ico "now plus 1 month"
ExpiresByType application/ico "now plus 1 month"
ExpiresByType image/vnd.wap.wbmp "now plus 1 month"
ExpiresByType application/vnd.wap.wbxml "now plus 1 month"

# Other optimizations
ExpiresByType application/x-gzip "access plus 1 month"
ExpiresByType application/x-shockwave-flash "access plus 1 month"

</IfModule>
## End - Expires caching

Цитата

15 января, 20177 yr

comment_120219

2 часа назад, instrumentariy сказал:

Мне кажется или меня разводят на новый тариф ?

Это вряд ли) На самом деле в последнее время наблюдается тенденция массового посещения ботов на сайт, чтобы решить проблему, нужно просто заблокировать доступ этих левых ботов, например тот же семраш, который тебе не нужен.

Запретить доступ можно через .htaccess, например так:

<Files 403.shtml>
order allow,deny
allow from all
</Files>

# Далее список юзерагентов которым мы запрещаем доступ

SetEnvIfNoCase User-Agent SemrushBot bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

Цитата

benix
1

15 января, 20177 yr

comment_120242

Как вариант, я бы сделал следующее:

1. Ограничил ботов, как писали выше.

2. Узнал у хостера разрешенную нагрузку, возможно у вас слабенький тариф.

3. Подумал и поставил кеширование.

Цитата

benix
1

15 января, 20177 yr

comment_120243

7 часов назад, Respected сказал:

SetEnvIfNoCase User-Agent SemrushBot bad_bot

Respected, А что если поставить такую строку:

SetEnvIfNoCase User-Agent SemrushBot ban

Будет ли работать и есть ли различие?

8 минут назад, vovchik3003 сказал:

3. Подумал и поставил кеширование.

vovchik3003, а не подскажите, как это сделать, пожалуйста?

Цитата

15 января, 20177 yr

comment_120245

5 минут назад, benix сказал:

Будет ли работать и есть ли различие?

Нет, работать не будет, в таком случае ещё нужно изменить строку Deny from env=bad_bot

Кстати есть в сети уже готовые списки левых ботов, например:

Спойлер


SetEnvIfNoCase User-Agent "AESOP_com_SpiderMan" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "SemrushBot" bad_bot
SetEnvIfNoCase User-Agent "Alexibot" bad_bot
SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot
SetEnvIfNoCase User-Agent "asterias" bad_bot
SetEnvIfNoCase User-Agent "attach" bad_bot
SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot
SetEnvIfNoCase User-Agent "BackWeb" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "Bandit" bad_bot
SetEnvIfNoCase User-Agent "BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "Birubot" bad_bot
SetEnvIfNoCase User-Agent "Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "BlackWidow" bad_bot
SetEnvIfNoCase User-Agent "BlowFish" bad_bot
SetEnvIfNoCase User-Agent "Bot mailto:[email protected]" bad_bot
SetEnvIfNoCase User-Agent "BotALot" bad_bot
SetEnvIfNoCase User-Agent "BTWebClient" bad_bot
SetEnvIfNoCase User-Agent "Buddy" bad_bot
SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "Butterfly" bad_bot
SetEnvIfNoCase User-Agent "CamontSpider" bad_bot
SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot
SetEnvIfNoCase User-Agent "CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "Collector" bad_bot
SetEnvIfNoCase User-Agent "CommentReader" bad_bot
SetEnvIfNoCase User-Agent "Copier" bad_bot
SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "cosmos" bad_bot
SetEnvIfNoCase User-Agent "Crescent" bad_bot
SetEnvIfNoCase User-Agent "Curl" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "DIIbot" bad_bot
SetEnvIfNoCase User-Agent "DISCo" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "Dolphin" bad_bot
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "Download Demon" bad_bot
SetEnvIfNoCase User-Agent "Download Devil" bad_bot
SetEnvIfNoCase User-Agent "Download Wonder" bad_bot
SetEnvIfNoCase User-Agent "Download" bad_bot
SetEnvIfNoCase User-Agent "Downloader" bad_bot
SetEnvIfNoCase User-Agent "dragonfly" bad_bot
SetEnvIfNoCase User-Agent "Drip" bad_bot
SetEnvIfNoCase User-Agent "EasyDL" bad_bot
SetEnvIfNoCase User-Agent "ebingbong" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EirGrabber" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "Express WebPictures" bad_bot
SetEnvIfNoCase User-Agent "Extractor" bad_bot
SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "FairShare" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "FlashGet" bad_bot
SetEnvIfNoCase User-Agent "flunky" bad_bot
SetEnvIfNoCase User-Agent "Foobot" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetSmart" bad_bot
SetEnvIfNoCase User-Agent "GetWeb!" bad_bot
SetEnvIfNoCase User-Agent "Gigabot" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "gold\ crawler" bad_bot
SetEnvIfNoCase User-Agent "gotit" bad_bot
SetEnvIfNoCase User-Agent "Grabber" bad_bot
SetEnvIfNoCase User-Agent "GrabNet" bad_bot
SetEnvIfNoCase User-Agent "Grafula" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "hloader" bad_bot
SetEnvIfNoCase User-Agent "HMView" bad_bot
SetEnvIfNoCase User-Agent "httplib" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "humanlinks" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "igdeSpyder" bad_bot
SetEnvIfNoCase User-Agent "IlseBot" bad_bot
SetEnvIfNoCase User-Agent "Image Stripper" bad_bot
SetEnvIfNoCase User-Agent "Image Sucker" bad_bot
SetEnvIfNoCase User-Agent "Indy Library" bad_bot
SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "InfoTekies" bad_bot
SetEnvIfNoCase User-Agent "Intelliseek" bad_bot
SetEnvIfNoCase User-Agent "InterGET" bad_bot
SetEnvIfNoCase User-Agent "Internet Ninja" bad_bot
SetEnvIfNoCase User-Agent "InternetSeer" bad_bot
SetEnvIfNoCase User-Agent "Iria" bad_bot
SetEnvIfNoCase User-Agent "Jakarta" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "JennyBot" bad_bot
SetEnvIfNoCase User-Agent "JetCar" bad_bot
SetEnvIfNoCase User-Agent "JOC" bad_bot
SetEnvIfNoCase User-Agent "JS-Kit" bad_bot
SetEnvIfNoCase User-Agent "JustView" bad_bot
SetEnvIfNoCase User-Agent "Jyxobot" bad_bot
SetEnvIfNoCase User-Agent "Kenjin.Spider" bad_bot
SetEnvIfNoCase User-Agent "Keyword.Density" bad_bot
SetEnvIfNoCase User-Agent "kmSearchBot" bad_bot
SetEnvIfNoCase User-Agent "larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechFTP" bad_bot
SetEnvIfNoCase User-Agent "LexiBot" bad_bot
SetEnvIfNoCase User-Agent "lftp" bad_bot
SetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "libwww" bad_bot
SetEnvIfNoCase User-Agent "likse" bad_bot
SetEnvIfNoCase User-Agent "Linguee" bad_bot
SetEnvIfNoCase User-Agent "LinkExchanger" bad_bot
SetEnvIfNoCase User-Agent "LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_bot
SetEnvIfNoCase User-Agent "LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "LNSpiderguy" bad_bot
SetEnvIfNoCase User-Agent "LWP::Simple" bad_bot
SetEnvIfNoCase User-Agent "lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "Magnet" bad_bot
SetEnvIfNoCase User-Agent "Mag-Net" bad_bot
SetEnvIfNoCase User-Agent "MarkWatch" bad_bot
SetEnvIfNoCase User-Agent "Mass Downloader" bad_bot
SetEnvIfNoCase User-Agent "Mata.Hari" bad_bot
SetEnvIfNoCase User-Agent "Memo" bad_bot
SetEnvIfNoCase User-Agent "Microsoft URL Control" bad_bot
SetEnvIfNoCase User-Agent "Microsoft.URL" bad_bot
SetEnvIfNoCase User-Agent "MIDown tool" bad_bot
SetEnvIfNoCase User-Agent "MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "Mirror" bad_bot
SetEnvIfNoCase User-Agent "Missigua Locator" bad_bot
SetEnvIfNoCase User-Agent "Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "MLBot" bad_bot
SetEnvIfNoCase User-Agent "moget" bad_bot
SetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_bot
SetEnvIfNoCase User-Agent "NAMEPROTECT" bad_bot
SetEnvIfNoCase User-Agent "Navroad" bad_bot
SetEnvIfNoCase User-Agent "NearSite" bad_bot
SetEnvIfNoCase User-Agent "Net Vampire" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "Netcraft" bad_bot
SetEnvIfNoCase User-Agent "NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "NetSpider" bad_bot
SetEnvIfNoCase User-Agent "NetZIP" bad_bot
SetEnvIfNoCase User-Agent "NextGenSearchBot" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NimbleCrawler" bad_bot
SetEnvIfNoCase User-Agent "Ninja" bad_bot
SetEnvIfNoCase User-Agent "NjuiceBot" bad_bot
SetEnvIfNoCase User-Agent "NPbot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "Octopus" bad_bot
SetEnvIfNoCase User-Agent "Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "Offline Navigator" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "OutfoxBot" bad_bot
SetEnvIfNoCase User-Agent "PageGrabber" bad_bot
SetEnvIfNoCase User-Agent "Papa Foto" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "pcBrowser" bad_bot
SetEnvIfNoCase User-Agent "PHP version tracker" bad_bot
SetEnvIfNoCase User-Agent "PHP" bad_bot
SetEnvIfNoCase User-Agent "Pockey" bad_bot
SetEnvIfNoCase User-Agent "PostRank" bad_bot
SetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "psbot" bad_bot
SetEnvIfNoCase User-Agent "ptd-crawler" bad_bot
SetEnvIfNoCase User-Agent "Pump" bad_bot
SetEnvIfNoCase User-Agent "Purebot" bad_bot
SetEnvIfNoCase User-Agent "PycURL" bad_bot
SetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "Reaper" bad_bot
SetEnvIfNoCase User-Agent "Recorder" bad_bot
SetEnvIfNoCase User-Agent "ReGet" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "RMA" bad_bot
SetEnvIfNoCase User-Agent "Siphon" bad_bot
SetEnvIfNoCase User-Agent "SiteBot" bad_bot
SetEnvIfNoCase User-Agent "sitecheck.internetseer.com" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SlySearch" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "Snake" bad_bot
SetEnvIfNoCase User-Agent "Snapbot" bad_bot
SetEnvIfNoCase User-Agent "Snoopy" bad_bot
SetEnvIfNoCase User-Agent "sogou" bad_bot
SetEnvIfNoCase User-Agent "Soup" bad_bot
SetEnvIfNoCase User-Agent "SpaceBison" bad_bot
SetEnvIfNoCase User-Agent "SpankBot" bad_bot
SetEnvIfNoCase User-Agent "spanner" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "Sqworm" bad_bot
SetEnvIfNoCase User-Agent "Stripper" bad_bot
SetEnvIfNoCase User-Agent "Sucker" bad_bot
SetEnvIfNoCase User-Agent "suggybot" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "Surfbot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "suzuran" bad_bot
SetEnvIfNoCase User-Agent "SWeb" bad_bot
SetEnvIfNoCase User-Agent "Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "Tagoobot" bad_bot
SetEnvIfNoCase User-Agent "tAkeOut" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "The.Intraformant" bad_bot
SetEnvIfNoCase User-Agent "TheNomad" bad_bot
SetEnvIfNoCase User-Agent "TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "Titan" bad_bot
SetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "True_Robot" bad_bot
SetEnvIfNoCase User-Agent "ttCrawler" bad_bot
SetEnvIfNoCase User-Agent "turingos" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_bot
SetEnvIfNoCase User-Agent "Twiceler" bad_bot
SetEnvIfNoCase User-Agent "URLy.Warning" bad_bot
SetEnvIfNoCase User-Agent "Vacuum" bad_bot
SetEnvIfNoCase User-Agent "VCI" bad_bot
SetEnvIfNoCase User-Agent "VoidEYE" bad_bot
SetEnvIfNoCase User-Agent "Voyager" bad_bot
SetEnvIfNoCase User-Agent "Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "Web Sucker" bad_bot
SetEnvIfNoCase User-Agent "Web.Image.Collector" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "Webclipping.com" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_bot
SetEnvIfNoCase User-Agent "WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "WebFetch" bad_bot
SetEnvIfNoCase User-Agent "WebGo IS" bad_bot
SetEnvIfNoCase User-Agent "WebLeacher" bad_bot
SetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "WebSauger" bad_bot
SetEnvIfNoCase User-Agent "Website eXtractor" bad_bot
SetEnvIfNoCase User-Agent "Website Quester" bad_bot
SetEnvIfNoCase User-Agent "WebSite" bad_bot
SetEnvIfNoCase User-Agent "Webster" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebWhacker" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Whacker" bad_bot
SetEnvIfNoCase User-Agent "Widow" bad_bot
SetEnvIfNoCase User-Agent "WISENutbot" bad_bot
SetEnvIfNoCase User-Agent "WordPress" bad_bot
SetEnvIfNoCase User-Agent "WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon" bad_bot
SetEnvIfNoCase User-Agent "Xenu" bad_bot
SetEnvIfNoCase User-Agent "Yeti" bad_bot
SetEnvIfNoCase User-Agent "YottosBot" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
SetEnvIfNoCase User-Agent "Zyborg" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Цитата

15 января, 20177 yr

comment_120250

10 часов назад, instrumentariy сказал:

А вот теперь как понять что к этому привело и главный вопрос - не повторится ли такое завтра ?

У вас слабый VDS/VPS хостинг (они все слабые так или иначе), на котором вы заюзали всю оперативу. В результате чего у вас стал тупить апач и мускул. В результате чего покоцались таблички в базе данных. Завтра и послезавтра такое обязательно повторится. Купите комп и настройте сервак дома на выделенном ip.

Цитата

15 января, 20177 yr

comment_120269

1 час назад, Zero108 сказал:

Купите комп и настройте сервак дома на выделенном ip

А есть какие-то более бюджетные варианты?

Цитата

15 января, 20177 yr

comment_120276

55 минут назад, benix сказал:

А есть какие-то более бюджетные варианты?

Смотря, что для вас бюджетно. 35 евро в месяц - бюджетно? Если да, то покупка своего сервера окупится за 2.5 года. Лучше потратить деньги на свой

Цитата

benix
1

15 января, 20177 yr

comment_120278

8 минут назад, Zero108 сказал:

35 евро в месяц

А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

Цитата

16 января, 20177 yr

Author

comment_120290

Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

Свой сервер это хорошо, но у меня нет опыта настройки и сборки. Каждый должен заниматься своим делом. У меня есть основная работа, сайт это хобби.

Хочется настроить и пусть сам работает ;). Но по факту получается, настроил установил. Проходит 3-4 месяца, опять что то всплывает.

И да вы правы, сегодня пару часов назад он опять начинал тупить, пока не обновил кэш. Мне непонятно другое, что такого произошло, если до этого всё летало нормально на этом сервере и проблем не было.

Цитата

ram108 and benix
2

17 января, 20177 yr

comment_120335

В 15.01.2017 в 23:42, benix сказал:

А не могли бы Вы, если не сложно, об этом чуть поподробнее? Во-сколько обойдется средненький свой сервер, чтобы потянул 5000 у/п в день?

Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

Цитата

17 января, 20177 yr

comment_120336

Только что, Zero108 сказал:

Покупка нормального железа обойдется примерно в 50-70 килорублей. Настройка у профессионального системного администратора еще порядка 150 долларов.

Главное чтобы свет не вырубали дома

Цитата

Zero108
1

17 января, 20177 yr

comment_120337

18 часов назад, instrumentariy сказал:

Плачу 43 евро в месяц, характеристики во вложенном скриншоте, мне кажется что и так перебор для моего форума, куда лучше сервер то ?

Вам на аукцион серверов, судя по всему: robot.your-server.de/order/market

Это надежный дата центр с быстрым откликом саппорта. При заказе на аукционе указываете, что вы проживаете не в EU (Евросоюз), а потому просите вычесть (не учитывать) VAT из стоимости сервера. -18%

4 минуты назад, Respected сказал:

Главное чтобы свет не вырубали дома

Или чтобы кулер соседей ночью не будил.

Цитата

17 января, 20177 yr

comment_120339

19 часов назад, instrumentariy сказал:

Плачу 43 евро в месяц, характеристики во вложенном скриншоте

Характеристики вашего сервера позволяют содержать высоконагруженный проект без проблем. Если у вас есть доступ к командной строке, то необходимо обновить систему сервера и произвести оптимизацию настроек веб-сервера и базы данных. Думаю, что 90% форумов успешно IPS4 работают на ресурсах в разы меньше ваших.

Также требуется анализ логов системы, а не тех, что вы привели выше.

Цитата

Silence
1

17 января, 20177 yr

comment_120344

отказаться от апача и уйти на nginx еще больше полегчает.

Цитата

Respected
1

17 января, 20177 yr

comment_120345

для nginx кому надо:

# Блокируем кучу ботов
if ($http_user_agent ~* (AESOP_com_SpiderMan|AhrefsBot|SemrushBot|Alexibot|Anonymouse.org|asterias|attach|BackDoorBot|BackWeb|Baiduspider|Bandit|BatchFTP|Bigfoot|Birubot|Black.Hole|BlackWidow|BlowFish|Bot\
 mailto:[email protected]|BotALot|BTWebClient|Buddy|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|Cegbfeieh|CheeseBot|CherryPicker|ChinaClaw|Collector|CommentReader|Copier|CopyRightCheck|cos
mos|Crescent|Curl|Custo|DIIbot|DISCo|discobot|DittoSpyder|Dolphin|DotBot|Download\ Demon|Download\ Devil|Download\ Wonder|Download|Downloader|dragonfly|Drip|EasyDL|ebingbong|eCatch|EirGrabber|EmailCollecto
r|EmailSiphon|EmailWolf|EroCrawler|Exabot|Express\ WebPictures|Extractor|EyeNetIE|Ezooms|FairShare|FileHound|FlashGet|flunky|Foobot|FrontPage|GetRight|GetSmart|GetWeb\!|Gigabot|Go\!Zilla|Go-Ahead-Got-It|go
tit|Grabber|GrabNet|Grafula|Harvest|hloader|HMView|httplib|HTTrack|humanlinks|ia_archiver|igdeSpyder|IlseBot|Image\ Stripper|Image\ Sucker|Indy\ Library|InfoNaviRobot|InfoTekies|Intelliseek|InterGET|Intern
et\ Ninja|InternetSeer|Iria|Jakarta|Java|JennyBot|JetCar|JOC|JS-Kit|JustView|Jyxobot|Kenjin.Spider|Keyword.Density|kmSearchBot|larbin|LeechFTP|LexiBot|lftp|libWeb\/clsHTTP|libwww|likse|Linguee|LinkExchange
r|LinkextractorPro|LinkScan\/8.1a.Unix|LinkWalker|LNSpiderguy|LWP::Simple|lwp-trivial|Magnet|Mag-Net|MarkWatch|Mass\ Downloader|Mata.Hari|Memo|Microsoft\ URL\ Control|Microsoft.URL|MIDown\ tool|MIIxpc|Mirr
or|Missigua\ Locator|Mister\ PiX|MJ12bot|MLBot|moget|Mozilla.*NEWT|Mozilla\/3.Mozilla\/2.01|NAMEPROTECT|Navroad|NearSite|Net\ Vampire|NetAnts|Netcraft|NetMechanic|NetSpider|NetZIP|NextGenSearchBot|NICErsPR
O|NimbleCrawler|Ninja|NjuiceBot|NPbot|Nutch|Octopus|Offline\ Explorer|Offline\ Navigator|Openfind|OutfoxBot|PageGrabber|Papa\ Foto|pavuk|pcBrowser|PHP\ version\ tracker|PHP|Pockey|PostRank|ProPowerBot\/2.1
4|ProWebWalker|psbot|ptd-crawler|Pump|Purebot|PycURL|QueryN.Metasearch|RealDownload|Reaper|Recorder|ReGet|RepoMonkey|RMA|Siphon|SiteBot|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|Snake|
Snapbot|Snoopy|sogou|Soup|SpaceBison|SpankBot|spanner|spbot|Sqworm|Stripper|Sucker|suggybot|SuperBot|SuperHTTP|Surfbot|SurveyBot|suzuran|SWeb|Szukacz\/1.4|Tagoobot|tAkeOut|Teleport|Telesoft|The.Intraforman
t|TheNomad|TightTwatBot|Titan|toCrawl\/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|TurnitinBot\/1.5|Twiceler|URLy.Warning|Vacuum|VCI|VoidEYE|Voyager|Web\ Image\ Collector|Web\ Sucker|Web.Image.
Collector|WebAuto|WebBandit|Webclipping.com|WebCopier|WebEMailExtrac.*|WebEnhancer|WebFetch|WebGo\ IS|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebSite|Webst
er|WebStripper|WebWhacker|WebZIP|Wget|Whacker|Widow|WISENutbot|WordPress|WWW-Collector-E|WWWOFFLE|Xaldon|Xenu|Yeti|YottosBot|Zeus|Zyborg))
{
    return 403;
}

Цитата

Sign In

Меня разводит хостинг ?

Featured Replies

Join the conversation

Последние посетители 0

Account

Navigation

Messages

Уведомления

Search