Plik robots.txt

[Suchjy]

Jak powinien wyglądać poprawnie przystosowany plik robots.txt dla IPB?

Zależy mi na dobrej i szybkiej indeksacji, więc może ktoś podzieli się jakimś dobrze utworzonym plikiem robots?

Na chwilę obecną mam coś takiego:

User-agent: *
Disallow: /index.php?/52-serwery-counter-strike-1-6/
Disallow: /admin/
Disallow: /cache/
Disallow: /lofiversion/
Disallow: /index.php?act=idx
Disallow: /index.php?act=Login
Disallow: /index.php?act=Search
Disallow: /index.php?autocom=shoutbox
Disallow: /index.php?act=Reg
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Forward
Disallow: /index.php?act=Track
Disallow: /index.php?act=Post
Disallow: /index.php?act=post
Disallow: /index.php?act=Print
Disallow: /index.php?act=ST
Disallow: /index.php?act=boardrules
Disallow: /?act=boardrules
Disallow: /index.php?act=Help
Disallow: /index.php?autocom=Stats
Disallow: /index.php?act=stats
Disallow: /index.php?act=Members
Disallow: /index.php?act=Online
Disallow: /index.php?act=calendar
Disallow: /index.php?act=SR
Disallow: /index.php?act=SF
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=SC
Disallow: /index.php?act=task
Disallow: /index.php?act=findpost
Disallow: /index.php?act=UserCP
Disallow: /index.php?act=usercp
Disallow: /index.php?&act=
Disallow: /index.php?act=report
Disallow: /index.php?act=buddy
Disallow: /index.php?act=legends
Disallow: /index.php?CODE=
Disallow: /index.php?act=attach
Disallow: /index.php?act=Attach
Disallow: /index.php?&&CODE=
Disallow: /index.php?&debug=1
Disallow: /index.php?act=Profile
Disallow: /index.php?showuser
Disallow: /index.php?s=
Disallow: /index.php?autocom=chatsigma
Disallow: /index.php?autocom=chatpara
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&gopid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*&showtopic

Edytowane 19 Stycznia 2010 przez Suchjy

[DawPi]

Witaj,

poniżej przedstawiam oryginalny plik z wersji 3.0.5:

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

[Suchjy]

rozumiem, że jeśli forum mam w głównym katalogu "/forum" nie jest potrzebne?

[DawPi]

Tak.

[Suchjy]

Jeśli chce zabronić botom dostępu do :

/index.php?/52-serwery-counter-strike-1-6/

i dalszych podfor wystarczy

Disallow: /index.php?/52-serwery-counter-strike-1-6/

?

czy coś innego?

[DawPi]

Musisz dodać wszystkie fora, tj. linijki z ID każdego forum.

Tylko lepiej bez furla, czyli:

Disallow: /forum/index.php?showforum=ID

Gdzie ID to id forum, do którego chcesz zabronić dostępu.

[Suchjy]

no dobra , ale jak zdobyć to ID?

http://games-center.pl/index.php?/forum/52-reklama-serwerow-gier/

skoro mam friendlu URL?

[DawPi]

forum/52 - 52 to właśnie ID.

[Suchjy]

ok dzięki, mógłbyś jeszcze nakierowac mnie na temat co do podwójnych metatagów ? nie moge go teraz znaleźć...

Była w nim mowa o tym że przez furla google widzi jeden link w postaci 3...

friendly link

friendli link geet a new post

i

normalny link...

[DawPi]

Nie wiem o czym mówisz. Albo inaczej: nie kojarzę. To nakierowanie polegałoby na szukaniu. Co równie dobrze możesz Ty zrobić. Serio nie kojarzę o jakim wątku mowa.