Вообщем долгое время в Google Webmasters отображалось что проиндексировано 64 страницы форума и 40 заблокировано в файле robots.txt но на днях проиндексировалось 181 страницы, и колличество заблокированных выросло до 878 по моему тут что то не впорядке. К сожалению пока не очень силен в этом

разве нельзя просмотреть список заблокированных, и проверьте сам файл robots.txt на наличие запрета индексации.

Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла

Вот мой роботс

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: *&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: *&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /go/
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Disallow: /index.php/user/
Disallow: /index.php/members/
Disallow: /index.php/calendar/
Disallow: /index.php/register/
Disallow: /index.php/lostpass/
Disallow: /index.php/login/
Disallow: /index.php?/user/
Disallow: /index.php?/members/
Disallow: /index.php?/calendar/
Disallow: /index.php?/register/
Disallow: /index.php?/lostpass/
Disallow: /index.php?/login/
Host: craftday.ru
Sitemap: __craftday.ru/sitemap.xml

Да роботс должен быть впорядке, в течении месяца показывало только 40 заблокированных страниц, ничего не менял, но вчера эта цифра резко возрасла

В этом нет ничего подозрительного. Запрещённые страницы тоже растут. Например у меня по одному из проектов их более 140 тысяч.

Достаточно странно...

robots.txt почти такой же как у вас

Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело

Вот вот, уже прошло больше месяца, хоть и показывает колличество проиндексированных страниц, но в поиске не одной страницы нету, не могу понять в чем дело

Поставь жирную ссылочку с морды какого-нибудь сайта.

Описание веб-страницы недоступно из-за ограничений в файле

вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить?

Убрать Disallow: /

Убрать Disallow: /

можно поподробней?? Т.е мой сайт не виден поисковым машинам получается??

Да. Убрать эту строку в robots.txt

Да. Убрать эту строку в robots.txt

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*&module=search

Allow:  /forum/*&search_tags=

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

Disallow: /forum/go/

Disallow: /forum/user/

Disallow: /forum/members/

Disallow: /forum/calendar/

Disallow: /forum/register/

Disallow: /forum/lostpass/

Disallow: /forum/login/

Disallow: /forum/index.php/user/

Disallow: /forum/index.php/members/

Disallow: /forum/index.php/calendar/

Disallow: /forum/index.php/register/

Disallow: /forum/index.php/lostpass/

Disallow: /forum/index.php/login/

Disallow: /forum/index.php?/user/

Disallow: /forum/index.php?/members/

Disallow: /forum/index.php?/calendar/

Disallow: /forum/index.php?/register/

Disallow: /forum/index.php?/lostpass/

Disallow: /forum/index.php?/login/

 

 

вообще все удалить?

Edited 20 октября, 201410 yr by CT1G

CT1G, Как 

 

Описание веб-страницы недоступно из-за ограничений в файле

вбил в гугл свой сайт и выдало вот это. Что это значит и как исправить?

Ничего личного, просто констатация

_ibeatbox.ru/robotstxt.txt

 

 # HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

Edited 21 октября, 201410 yr by Respected

CT1G, Как 

 

Ничего личного, просто констатация

 

если честно, ничего не понял((

Констатация чего?

Edited 20 октября, 201410 yr by CT1G

если честно, ничего не понял((

Констатация чего?

_ibeatbox.ru/robotstxt.txt

_ibeatbox.ru/robots.txt

 

Найдите различия

да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt?

да, через FileZilla в корне лежил rotostxt.txt, переименовать в tobots.txt?

Да

 

В самом robots.txt это и прописано

 

#, КАК ИСПОЛЬЗОВАТЬ ЭТОТ ФАЙЛ:
1) Отредактируйте этот файл, чтобы изменить "/forum/" к правильному относительному пути от Вашего базового URL, например если бы Ваш форум был в "domain.com/sites/community", то Вы использовали бы "/sites/community/"
2) Переименуйте файл к 'robots.txt' и переместите его в свой веб-корень (public_html, www, или htdocs)
3) Отредактируйте файл, чтобы удалить этот комментарий (что-либо выше пунктирной линии, включая пунктирную линию
#
Примечания:
# Даже при том, что дикие карты и образец, соответствующий, не являются частью robots.txt спецификации, много личинок поиска, понимают и используют их
#------------------------УДАЛЯЮТ ЭТУ ЛИНИЮ И ВСЕ ВЫШЕ ТАК, ЧТОБЫ пользователь-агент: * ПЕРВАЯ ЛИНИЯ------------------------------------------