Posted 11 декабря, 201310 yr comment_48650 Вообщем долгое время в Google Webmasters отображалось что проиндексировано 64 страницы форума и 40 заблокировано в файле robots.txt но на днях проиндексировалось 181 страницы, и колличество заблокированных выросло до 878 по моему тут что то не впорядке. К сожалению пока не очень силен в этом
11 декабря, 201310 yr comment_48652 разве нельзя просмотреть список заблокированных, и проверьте сам файл robots.txt на наличие запрета индексации.
11 декабря, 201310 yr Author comment_48689 Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла Вот мой роботс User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=forums&module=moderate§ion=moderate Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=chat Disallow: /index.php?&unlockUserAgent=1 Disallow: /*&module=search Allow: /*&search_tags= Disallow: /*app=core&module=global§ion=reputation Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: *&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: *&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /*&do=who Disallow: /*§ion=dname Disallow: /go/ Disallow: /user/ Disallow: /members/ Disallow: /calendar/ Disallow: /register/ Disallow: /lostpass/ Disallow: /login/ Disallow: /index.php/user/ Disallow: /index.php/members/ Disallow: /index.php/calendar/ Disallow: /index.php/register/ Disallow: /index.php/lostpass/ Disallow: /index.php/login/ Disallow: /index.php?/user/ Disallow: /index.php?/members/ Disallow: /index.php?/calendar/ Disallow: /index.php?/register/ Disallow: /index.php?/lostpass/ Disallow: /index.php?/login/ Host: craftday.ru Sitemap: __craftday.ru/sitemap.xml
11 декабря, 201310 yr comment_48691 Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла В этом нет ничего подозрительного. Запрещённые страницы тоже растут. Например у меня по одному из проектов их более 140 тысяч.
11 декабря, 201310 yr Author comment_48760 Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело
12 декабря, 201310 yr comment_48769 Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело Поставь жирную ссылочку с морды какого-нибудь сайта.
19 октября, 201410 yr comment_72722 Описание веб-страницы недоступно из-за ограничений в файле вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить?
20 октября, 201410 yr comment_72746 Убрать Disallow: / можно поподробней?? Т.е мой сайт не виден поисковым машинам получается??
20 октября, 201410 yr comment_72767 Да. Убрать эту строку в robots.txt User-agent: * Disallow: /forum/admin/ Disallow: /forum/cache/ Disallow: /forum/converge_local/ Disallow: /forum/hooks/ Disallow: /forum/ips_kernel/ Disallow: /forum/retail/ Disallow: /forum/public/style_captcha/ Disallow: /forum/index.php?app=core&module=task Disallow: /forum/index.php?app=forums&module=moderate§ion=moderate Disallow: /forum/index.php?app=forums&module=extras§ion=forward Disallow: /forum/index.php?app=members&module=chat Disallow: /forum/index.php?&unlockUserAgent=1 Disallow: /forum/*&module=search Allow: /forum/*&search_tags= Disallow: /forum/*app=core&module=global§ion=reputation Disallow: /forum/*app=core&module=usercp Disallow: /forum/*app=members&module=messaging Disallow: /forum/*&p= Disallow: /forum/*&pid= Disallow: /forum/*&hl= Disallow: /forum/*&start= Disallow: /forum/*view__getnewpost$ Disallow: /forum/*view__getlastpost$ Disallow: /forum/*view__old$ Disallow: /forum/*view__new$ Disallow: /forum/*view__getfirst$ Disallow: /forum/*view__getprevious$ Disallow: /forum/*view__getnext$ Disallow: /forum/*view__getlast$ Disallow: /forum/*&view=getnewpost$ Disallow: /forum/*&view=getlastpost$ Disallow: /forum/*&view=old$ Disallow: /forum/*&view=new$ Disallow: /forum/*&view=getfirst$ Disallow: /forum/*&view=getprevious$ Disallow: /forum/*&view=getnext$ Disallow: /forum/*&view=getlast$ Disallow: /forum/*?s= Disallow: /forum/*&s= Disallow: /forum/index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /forum/index.php?app=forums&module=extras§ion=rating Disallow: /forum/index.php?app=forums&module=forums§ion=markasread Disallow: /forum/*&do=who Disallow: /forum/*§ion=dname Disallow: /forum/go/ Disallow: /forum/user/ Disallow: /forum/members/ Disallow: /forum/calendar/ Disallow: /forum/register/ Disallow: /forum/lostpass/ Disallow: /forum/login/ Disallow: /forum/index.php/user/ Disallow: /forum/index.php/members/ Disallow: /forum/index.php/calendar/ Disallow: /forum/index.php/register/ Disallow: /forum/index.php/lostpass/ Disallow: /forum/index.php/login/ Disallow: /forum/index.php?/user/ Disallow: /forum/index.php?/members/ Disallow: /forum/index.php?/calendar/ Disallow: /forum/index.php?/register/ Disallow: /forum/index.php?/lostpass/ Disallow: /forum/index.php?/login/ вообще все удалить? Edited 20 октября, 201410 yr by CT1G
20 октября, 201410 yr comment_72772 CT1G, Как Описание веб-страницы недоступно из-за ограничений в файле вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить? Ничего личного, просто констатация _ibeatbox.ru/robotstxt.txt # HOW TO USE THIS FILE: # 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/" # 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs) # 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line # # NOTES: # Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them #------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------ Edited 21 октября, 201410 yr by Respected
20 октября, 201410 yr comment_72774 CT1G, Как Ничего личного, просто констатация если честно, ничего не понял(( Констатация чего? Edited 20 октября, 201410 yr by CT1G
20 октября, 201410 yr comment_72775 если честно, ничего не понял(( Констатация чего? _ibeatbox.ru/robotstxt.txt _ibeatbox.ru/robots.txt Найдите различия
21 октября, 201410 yr comment_72798 да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt?
21 октября, 201410 yr comment_72799 да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt? Да В самом robots.txt это и прописано #, КАК ИСПОЛЬЗОВАТЬ ЭТОТ ФАЙЛ: 1) Отредактируйте этот файл, чтобы изменить "/forum/" к правильному относительному пути от Вашего базового URL, например если бы Ваш форум был в "domain.com/sites/community", то Вы использовали бы "/sites/community/" 2) Переименуйте файл к 'robots.txt' и переместите его в свой веб-корень (public_html, www, или htdocs) 3) Отредактируйте файл, чтобы удалить этот комментарий (что-либо выше пунктирной линии, включая пунктирную линию # Примечания: # Даже при том, что дикие карты и образец, соответствующий, не являются частью robots.txt спецификации, много личинок поиска, понимают и используют их #------------------------УДАЛЯЮТ ЭТУ ЛИНИЮ И ВСЕ ВЫШЕ ТАК, ЧТОБЫ пользователь-агент: * ПЕРВАЯ ЛИНИЯ------------------------------------------
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.