Blokowany przez plik robots.txt

[ania07]

Witam, od pewnego czasu widzę że mam problem w google, Błędy napotkane przez Google podczas indeksowania Twojej witryny.

Adres URL blokowany przez plik robots.txt

i to aż>>> 72 033

Co robić by nie było blokowań, których nie chcę. ? Dzięki za pomoc.

[DawPi]

Jaki adres? Jaką masz treść tego pliku?

[ania07]

W narzędziach dla webmasterów plik robots wygląda tak:

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Może tutaj mam coś zmienić ?

[DawPi]

To może zapytam ponownie: jaki adres jest blokowany wg narzędzi Google'a?

[ania07]

Adresów blokowanych jest bardzo wiele:

http://www.kochamnarty.pl/-t1327.html&pid=18734&mode=threaded

Adres URL blokowany przez plik robots.txt 10-12-2010

http://www.kochamnarty.pl/-t1327.html&pid=21802&mode=threaded

Adres URL blokowany przez plik robots.txt 13-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=21826&mode=threaded

Adres URL blokowany przez plik robots.txt 13-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=21827&mode=threaded

Adres URL blokowany przez plik robots.txt 03-12-2010

http://www.kochamnarty.pl/-t1327.html&pid=21837&mode=threaded

Adres URL blokowany przez plik robots.txt 03-12-2010

http://www.kochamnarty.pl/-t1327.html&pid=21858&mode=threaded

Adres URL blokowany przez plik robots.txt 30-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=21868&mode=threaded

Adres URL blokowany przez plik robots.txt 29-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=21908&mode=threaded

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t1327.html&pid=22397&mode=threaded

Adres URL blokowany przez plik robots.txt 03-12-2010

http://www.kochamnarty.pl/-t1327.html&pid=22398&mode=threaded

Adres URL blokowany przez plik robots.txt 30-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=22402&mode=threaded

Adres URL blokowany przez plik robots.txt 30-11-2010

http://www.kochamnarty.pl/-t1327.html&pid=22408&mode=threaded

Adres URL blokowany przez plik robots.txt 11-12-2010

http://www.kochamnarty.pl/-t447.html&mode=linear&view=findpost&p=4042

Adres URL blokowany przez plik robots.txt 11-12-2010

http://www.kochamnarty.pl/-t447.html&mode=threaded&pid=4044

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t447.html&mode=threaded&pid=4048

Adres URL blokowany przez plik robots.txt 09-12-2010

http://www.kochamnarty.pl/-t447.html&mode=threaded&pid=4049

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t447.html&pid=4044&mode=threaded

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t447.html&pid=4048&mode=threaded

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t447.html&pid=4049&mode=threaded

Adres URL blokowany przez plik robots.txt 04-12-2010

http://www.kochamnarty.pl/-t447.html&pid=4059&mode=threaded

i o wiele więcej....

[DawPi]

Czy to przypadkiem nie są jakieś stare wpisy z CSEO czy MSEO jeszcze walające się po sieci?

[ania07]

Miałem CSEO instalowane wcześniej na starej wersji forum. Myślisz że to jeszcze to ?

Robots na serwerze wygląda u mnie tak:

User-Agent: *

Allow: /

User-Agent: Googlebot

Allow: /

więc chyba tutaj nie ma problemu. A jeśłi to stare CSEO, to znaczy że nie mam nic do zrobienia.

[DawPi]

Ten Twój plik bym o ostatnie dwie linijki skrócił: wszak zezwalasz wszystkim botom na na dostęp, a potem ekstra jeszcze botowi gugla. To wg mnie nie jest potrzebne.

[ania07]

Skracam, dziękuję bardzo za pomoc.

[ania07]

Przepraszam za post pod postem, ale czy tutaj jest wszystko ok, w ustawieniach dla webmasterów w robots:

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Czy tu ma być wszystko Disallow ??

[DawPi]

Pewnie. Bot ma indeksować treść, a nie dublowane linki..

Chyba.

[mlodszy]

Sprawa jest dość prosta. IPB w przekazywaniu linków dodaje sporo parametrów, parametrów tak naprawdę zbędnych dla indeksu i dla botów. Ja u siebie mam tak:

Blokowany przez plik robots.txt 	175 543

Ale wystarczy zrobić analizę po nich aby wiedzieć, że dobrze aby blokowało. Chociaż z drugiej strony CSEO rozwiązywało to znacznie lepiej niż to co siedzi w IPB.

Osobiście stworzyłem również specjalną grupę dla robotów dzięki czemu lepiej zarządza mi się tym co mogą, a co nie. Polecam tak zrobić oraz przyglądać się danym co nie jest osiągalne, co jest i co zwraca błąd.