theanabioz Опубликовано 11 декабря, 2013 Поделиться Опубликовано 11 декабря, 2013 Вообщем долгое время в Google Webmasters отображалось что проиндексировано 64 страницы форума и 40 заблокировано в файле robots.txt но на днях проиндексировалось 181 страницы, и колличество заблокированных выросло до 878 по моему тут что то не впорядке. К сожалению пока не очень силен в этом Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sirius Опубликовано 11 декабря, 2013 Поделиться Опубликовано 11 декабря, 2013 разве нельзя просмотреть список заблокированных, и проверьте сам файл robots.txt на наличие запрета индексации. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
theanabioz Опубликовано 11 декабря, 2013 Автор Поделиться Опубликовано 11 декабря, 2013 Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла Вот мой роботс User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=forums&module=moderate§ion=moderate Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=chat Disallow: /index.php?&unlockUserAgent=1 Disallow: /*&module=search Allow: /*&search_tags= Disallow: /*app=core&module=global§ion=reputation Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: *&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: *&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /*&do=who Disallow: /*§ion=dname Disallow: /go/ Disallow: /user/ Disallow: /members/ Disallow: /calendar/ Disallow: /register/ Disallow: /lostpass/ Disallow: /login/ Disallow: /index.php/user/ Disallow: /index.php/members/ Disallow: /index.php/calendar/ Disallow: /index.php/register/ Disallow: /index.php/lostpass/ Disallow: /index.php/login/ Disallow: /index.php?/user/ Disallow: /index.php?/members/ Disallow: /index.php?/calendar/ Disallow: /index.php?/register/ Disallow: /index.php?/lostpass/ Disallow: /index.php?/login/ Host: craftday.ru Sitemap: __craftday.ru/sitemap.xml Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Respected Опубликовано 11 декабря, 2013 Поделиться Опубликовано 11 декабря, 2013 Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла В этом нет ничего подозрительного. Запрещённые страницы тоже растут. Например у меня по одному из проектов их более 140 тысяч. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Unlakc Опубликовано 11 декабря, 2013 Поделиться Опубликовано 11 декабря, 2013 Достаточно странно... robots.txt почти такой же как у вас Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
theanabioz Опубликовано 11 декабря, 2013 Автор Поделиться Опубликовано 11 декабря, 2013 Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Respected Опубликовано 12 декабря, 2013 Поделиться Опубликовано 12 декабря, 2013 Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело Поставь жирную ссылочку с морды какого-нибудь сайта. Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
CT1G Опубликовано 19 октября, 2014 Поделиться Опубликовано 19 октября, 2014 Описание веб-страницы недоступно из-за ограничений в файле вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sanshalay Опубликовано 19 октября, 2014 Поделиться Опубликовано 19 октября, 2014 Убрать Disallow: / Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
CT1G Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 Убрать Disallow: / можно поподробней?? Т.е мой сайт не виден поисковым машинам получается?? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Sanshalay Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 Да. Убрать эту строку в robots.txt CT1G 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
CT1G Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 (изменено) Да. Убрать эту строку в robots.txt User-agent: * Disallow: /forum/admin/ Disallow: /forum/cache/ Disallow: /forum/converge_local/ Disallow: /forum/hooks/ Disallow: /forum/ips_kernel/ Disallow: /forum/retail/ Disallow: /forum/public/style_captcha/ Disallow: /forum/index.php?app=core&module=task Disallow: /forum/index.php?app=forums&module=moderate§ion=moderate Disallow: /forum/index.php?app=forums&module=extras§ion=forward Disallow: /forum/index.php?app=members&module=chat Disallow: /forum/index.php?&unlockUserAgent=1 Disallow: /forum/*&module=search Allow: /forum/*&search_tags= Disallow: /forum/*app=core&module=global§ion=reputation Disallow: /forum/*app=core&module=usercp Disallow: /forum/*app=members&module=messaging Disallow: /forum/*&p= Disallow: /forum/*&pid= Disallow: /forum/*&hl= Disallow: /forum/*&start= Disallow: /forum/*view__getnewpost$ Disallow: /forum/*view__getlastpost$ Disallow: /forum/*view__old$ Disallow: /forum/*view__new$ Disallow: /forum/*view__getfirst$ Disallow: /forum/*view__getprevious$ Disallow: /forum/*view__getnext$ Disallow: /forum/*view__getlast$ Disallow: /forum/*&view=getnewpost$ Disallow: /forum/*&view=getlastpost$ Disallow: /forum/*&view=old$ Disallow: /forum/*&view=new$ Disallow: /forum/*&view=getfirst$ Disallow: /forum/*&view=getprevious$ Disallow: /forum/*&view=getnext$ Disallow: /forum/*&view=getlast$ Disallow: /forum/*?s= Disallow: /forum/*&s= Disallow: /forum/index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /forum/index.php?app=forums&module=extras§ion=rating Disallow: /forum/index.php?app=forums&module=forums§ion=markasread Disallow: /forum/*&do=who Disallow: /forum/*§ion=dname Disallow: /forum/go/ Disallow: /forum/user/ Disallow: /forum/members/ Disallow: /forum/calendar/ Disallow: /forum/register/ Disallow: /forum/lostpass/ Disallow: /forum/login/ Disallow: /forum/index.php/user/ Disallow: /forum/index.php/members/ Disallow: /forum/index.php/calendar/ Disallow: /forum/index.php/register/ Disallow: /forum/index.php/lostpass/ Disallow: /forum/index.php/login/ Disallow: /forum/index.php?/user/ Disallow: /forum/index.php?/members/ Disallow: /forum/index.php?/calendar/ Disallow: /forum/index.php?/register/ Disallow: /forum/index.php?/lostpass/ Disallow: /forum/index.php?/login/ вообще все удалить? Изменено 20 октября, 2014 пользователем CT1G Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
AlexBrtn Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 (изменено) CT1G, Как Описание веб-страницы недоступно из-за ограничений в файле вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить? Ничего личного, просто констатация _ibeatbox.ru/robotstxt.txt # HOW TO USE THIS FILE: # 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/" # 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs) # 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line # # NOTES: # Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them #------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------ Изменено 21 октября, 2014 пользователем Respected Sanshalay 1 Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
CT1G Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 (изменено) CT1G, Как Ничего личного, просто констатация если честно, ничего не понял(( Констатация чего? Изменено 20 октября, 2014 пользователем CT1G Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
AlexBrtn Опубликовано 20 октября, 2014 Поделиться Опубликовано 20 октября, 2014 если честно, ничего не понял(( Констатация чего? _ibeatbox.ru/robotstxt.txt _ibeatbox.ru/robots.txt Найдите различия Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
CT1G Опубликовано 21 октября, 2014 Поделиться Опубликовано 21 октября, 2014 да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt? Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
AlexBrtn Опубликовано 21 октября, 2014 Поделиться Опубликовано 21 октября, 2014 да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt? Да В самом robots.txt это и прописано #, КАК ИСПОЛЬЗОВАТЬ ЭТОТ ФАЙЛ: 1) Отредактируйте этот файл, чтобы изменить "/forum/" к правильному относительному пути от Вашего базового URL, например если бы Ваш форум был в "domain.com/sites/community", то Вы использовали бы "/sites/community/" 2) Переименуйте файл к 'robots.txt' и переместите его в свой веб-корень (public_html, www, или htdocs) 3) Отредактируйте файл, чтобы удалить этот комментарий (что-либо выше пунктирной линии, включая пунктирную линию # Примечания: # Даже при том, что дикие карты и образец, соответствующий, не являются частью robots.txt спецификации, много личинок поиска, понимают и используют их #------------------------УДАЛЯЮТ ЭТУ ЛИНИЮ И ВСЕ ВЫШЕ ТАК, ЧТОБЫ пользователь-агент: * ПЕРВАЯ ЛИНИЯ------------------------------------------ Цитата Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.