По поводу индексации и robots.txt

[theanabioz]

Вообщем долгое время в Google Webmasters отображалось что проиндексировано 64 страницы форума и 40 заблокировано в файле robots.txt но на днях проиндексировалось 181 страницы, и колличество заблокированных выросло до 878 по моему тут что то не впорядке. К сожалению пока не очень силен в этом

[Sirius]

разве нельзя просмотреть список заблокированных, и проверьте сам файл robots.txt на наличие запрета индексации.

[theanabioz]

Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла

Вот мой роботс

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: *&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: *&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /go/
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Disallow: /index.php/user/
Disallow: /index.php/members/
Disallow: /index.php/calendar/
Disallow: /index.php/register/
Disallow: /index.php/lostpass/
Disallow: /index.php/login/
Disallow: /index.php?/user/
Disallow: /index.php?/members/
Disallow: /index.php?/calendar/
Disallow: /index.php?/register/
Disallow: /index.php?/lostpass/
Disallow: /index.php?/login/
Host: craftday.ru
Sitemap: __craftday.ru/sitemap.xml

[Respected]

Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла

В этом нет ничего подозрительного. Запрещённые страницы тоже растут. Например у меня по одному из проектов их более 140 тысяч.

[Unlakc]

Достаточно странно...

robots.txt почти такой же как у вас

[theanabioz]

Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело

[Respected]

Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело

Поставь жирную ссылочку с морды какого-нибудь сайта.

[CT1G]

Описание веб-страницы недоступно из-за ограничений в файле

вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить?

[Sanshalay]

Убрать Disallow: /

[CT1G]

Убрать Disallow: /

можно поподробней?? Т.е мой сайт не виден поисковым машинам получается??

[Sanshalay]

Да. Убрать эту строку в robots.txt

[CT1G]

Да. Убрать эту строку в robots.txt

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*&module=search

Allow:  /forum/*&search_tags=

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

Disallow: /forum/go/

Disallow: /forum/user/

Disallow: /forum/members/

Disallow: /forum/calendar/

Disallow: /forum/register/

Disallow: /forum/lostpass/

Disallow: /forum/login/

Disallow: /forum/index.php/user/

Disallow: /forum/index.php/members/

Disallow: /forum/index.php/calendar/

Disallow: /forum/index.php/register/

Disallow: /forum/index.php/lostpass/

Disallow: /forum/index.php/login/

Disallow: /forum/index.php?/user/

Disallow: /forum/index.php?/members/

Disallow: /forum/index.php?/calendar/

Disallow: /forum/index.php?/register/

Disallow: /forum/index.php?/lostpass/

Disallow: /forum/index.php?/login/

 

 

вообще все удалить?

Изменено 20 октября, 2014 пользователем CT1G

[AlexBrtn]

CT1G, Как 

 

Описание веб-страницы недоступно из-за ограничений в файле

вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить?

Ничего личного, просто констатация

_ibeatbox.ru/robotstxt.txt

 

 # HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

Изменено 21 октября, 2014 пользователем Respected

[CT1G]

CT1G, Как 

 

Ничего личного, просто констатация

 

если честно, ничего не понял((

Констатация чего?

Изменено 20 октября, 2014 пользователем CT1G

[AlexBrtn]

если честно, ничего не понял((

Констатация чего?

_ibeatbox.ru/robotstxt.txt

_ibeatbox.ru/robots.txt

 

Найдите различия

[CT1G]

да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt?

[AlexBrtn]

да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt?

Да

 

В самом robots.txt это и прописано

 

#, КАК ИСПОЛЬЗОВАТЬ ЭТОТ ФАЙЛ:
1) Отредактируйте этот файл, чтобы изменить "/forum/" к правильному относительному пути от Вашего базового URL, например если бы Ваш форум был в "domain.com/sites/community", то Вы использовали бы "/sites/community/"
2) Переименуйте файл к 'robots.txt' и переместите его в свой веб-корень (public_html, www, или htdocs)
3) Отредактируйте файл, чтобы удалить этот комментарий (что-либо выше пунктирной линии, включая пунктирную линию
#
Примечания:
# Даже при том, что дикие карты и образец, соответствующий, не являются частью robots.txt спецификации, много личинок поиска, понимают и используют их
#------------------------УДАЛЯЮТ ЭТУ ЛИНИЮ И ВСЕ ВЫШЕ ТАК, ЧТОБЫ пользователь-агент: * ПЕРВАЯ ЛИНИЯ------------------------------------------