Witam!
Chciałbym nawiązać do tematu swist http://forum.invisionize.pl/index.php?showtopic=3517
swist pisze, że:
Otóż jest bardzo proste rozwiązanie tego problemu, wystarczy że posłużysz się plikiem robots.txt, w którym określisz jakie linki mają być nie indeksowane. Ja z tego korzystam od dłuższego czasu i wszystko pięknie działa, google indeksuje tylko linki FURL.
Plik robots.txt należy umieścić w katalogu głównym forum, a potem zalogować się do:
Narzędzia dla webmasterów (Google)>>Konfiguracja witryny>>Dostęp dla robotów
i w formularzu Adresy URL Podaj adres URL i klienty użytkownika do testowania sprawdzić sobie dla niektórych adresów czy właściwie blokuje zawartość, np wpisując:
Powinien wyświetlić się komunikat, że:
Po około miesiącu powinny być już zablokowane wszystkie wpisy. U mnie po 1 tygodniu zablokowało ponad 38 tyś linków. Oczywiście w Narzędzia dla webmasterów w zakładce dotyczącej błędów indeksowania, będziesz miał wyszczególnione linki, które są blokowane.
Oto zawartość mojego pliku robots.txt:
User-agent: *
Disallow: /style_images/
Disallow: /lofiversion/
Disallow: /index.php?act=idx
Disallow: /index.php?act=Login
Disallow: /index.php?act=Search
Disallow: /index.php?autocom=shoutbox
Disallow: /index.php?act=Reg
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Forward
Disallow: /index.php?act=Track
Disallow: /index.php?act=Post
Disallow: /index.php?act=post
Disallow: /index.php?act=Print
Disallow: /index.php?act=ST
Disallow: /index.php?act=boardrules
Disallow: /?act=boardrules
Disallow: /index.php?act=Help
Disallow: /index.php?autocom=Stats
Disallow: /index.php?act=stats
Disallow: /index.php?act=Members
Disallow: /index.php?act=Online
Disallow: /index.php?act=calendar
Disallow: /index.php?act=SR
Disallow: /index.php?act=SF
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=SC
Disallow: /index.php?act=task
Disallow: /index.php?act=findpost
Disallow: /index.php?act=UserCP
Disallow: /index.php?act=usercp
Disallow: /index.php?&act=
Disallow: /index.php?act=report
Disallow: /index.php?act=buddy
Disallow: /index.php?act=legends
Disallow: /index.php?CODE=
Disallow: /index.php?act=attach
Disallow: /index.php?act=Attach
Disallow: /index.php?&&CODE=
Disallow: /index.php?&debug=1
Disallow: /index.php?act=Profile
Disallow: /index.php?showuser
Disallow: /index.php?s=
Disallow: /index.php?autocom=chatsigma
Disallow: /index.php?autocom=chatpara
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&gopid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*&showtopic
Oczywiście możesz dodać jeszcze jakieś katalogi, w których nie chcesz by była indeksowana ich zawartość.