FURL - podwójne wpisy itp w Google itp - plik robots.txt

[matma4u]

Witam!

Chciałbym nawiązać do tematu swist http://forum.invisionize.pl/index.php?showtopic=3517

swist pisze, że:

A minusy? Google podwójnie (czasami nawet potrójnie jak view=getnewpost) indeksuje tematy, z FURLem i zwykły, czyli mamy powielone tagi tytułowe i meta-opisy oraz treść co nie wygląda dobrze w Google bądź nawet za celowe powielanie tej samej treści w celu podniesienia rankingu strony.

Otóż jest bardzo proste rozwiązanie tego problemu, wystarczy że posłużysz się plikiem robots.txt, w którym określisz jakie linki mają być nie indeksowane. Ja z tego korzystam od dłuższego czasu i wszystko pięknie działa, google indeksuje tylko linki FURL.

Plik robots.txt należy umieścić w katalogu głównym forum, a potem zalogować się do:

Narzędzia dla webmasterów (Google)>>Konfiguracja witryny>>Dostęp dla robotów

i w formularzu Adresy URL Podaj adres URL i klienty użytkownika do testowania sprawdzić sobie dla niektórych adresów czy właściwie blokuje zawartość, np wpisując:

http://mojadomena/index.php?act=Login

Powinien wyświetlić się komunikat, że:

Zablokowane w wierszu (i tu numer wiersza)

Po około miesiącu powinny być już zablokowane wszystkie wpisy. U mnie po 1 tygodniu zablokowało ponad 38 tyś linków. Oczywiście w Narzędzia dla webmasterów w zakładce dotyczącej błędów indeksowania, będziesz miał wyszczególnione linki, które są blokowane.

Oto zawartość mojego pliku robots.txt:

User-agent: *
Disallow: /style_images/
Disallow: /lofiversion/
Disallow: /index.php?act=idx
Disallow: /index.php?act=Login
Disallow: /index.php?act=Search
Disallow: /index.php?autocom=shoutbox
Disallow: /index.php?act=Reg
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Forward
Disallow: /index.php?act=Track
Disallow: /index.php?act=Post
Disallow: /index.php?act=post
Disallow: /index.php?act=Print
Disallow: /index.php?act=ST
Disallow: /index.php?act=boardrules
Disallow: /?act=boardrules
Disallow: /index.php?act=Help
Disallow: /index.php?autocom=Stats
Disallow: /index.php?act=stats
Disallow: /index.php?act=Members
Disallow: /index.php?act=Online
Disallow: /index.php?act=calendar
Disallow: /index.php?act=SR
Disallow: /index.php?act=SF
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=SC
Disallow: /index.php?act=task
Disallow: /index.php?act=findpost
Disallow: /index.php?act=UserCP
Disallow: /index.php?act=usercp
Disallow: /index.php?&act=
Disallow: /index.php?act=report
Disallow: /index.php?act=buddy
Disallow: /index.php?act=legends
Disallow: /index.php?CODE=
Disallow: /index.php?act=attach
Disallow: /index.php?act=Attach
Disallow: /index.php?&&CODE=
Disallow: /index.php?&debug=1
Disallow: /index.php?act=Profile
Disallow: /index.php?showuser
Disallow: /index.php?s=
Disallow: /index.php?autocom=chatsigma
Disallow: /index.php?autocom=chatpara
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&gopid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*&showtopic

Oczywiście możesz dodać jeszcze jakieś katalogi, w których nie chcesz by była indeksowana ich zawartość.

[DawPi]

Ciekawe. Jakbyś trochę obrobił Twój temat to dalibyśmy to jako tutorial.

[swist]

Hmm to ciekawe, nie pomyślałem o tym Tylko jak zrobiłeś że FURL działa także na 'ostatni post' i tak ładnie przekierowuje do tematu? U mnie to nie działało, modyfikowałeś coś? Oraz jak dodałeś przekierowanie, że likwiduje Ci www w adresie?

Edytowane 16 Czerwca 2009 przez swist

[matma4u]

Oraz jak dodałeś przekierowanie, że likwiduje Ci www w adresie?

Po pierwsze w pliku conf_global.php mam:

$INFO['board_url'] = 'http://matma4u.pl';

Następnie w Narzędzia dla webmasterów>>Konfiguracja witryny>>Ustawienia dla opcji Preferowana domena mam ustalone:

Nie ustawiaj preferowanej domeny

Wyświetlaj adresy URL jako www.matma4u.pl

Wyświetlaj adresy URL jako matma4u.pl (to mam zaznaczone)

I to wszystko rozwiązuje cały problem.

Tylko jak zrobiłeś że FURL działa także na 'ostatni post' i tak ładnie przekierowuje do tematu?

Używasz FURL (mod oparty na pliku .htaccess i kilku drobnych zmainach w pliku) czy np. MinervaSEO?

[matma4u]

Ciekawe. Jakbyś trochę obrobił Twój temat to dalibyśmy to jako tutorial.

Spróbuje jutro nad tym popracować

[swist]

Tak korzystałem ze zwykłego FURL, ale nie widziałem żeby działał z 'ostatni post' czy tak ładnie przekierowywał po kliknięciu np. w 'poprzedni temat' itd.

[dawid18]

Zainstalujcie sobie darmowy mod zwany MinervaSEO. Ja posiadam tego moda i jestem z niego zadowolony. Zajmuje 7 pozycję w Google po wpisaniu 'Forum wielotematyczne' (na razie). A co najważniejsze wystarczy napisać jeden temat / post, a na stronie głównej zobaczycie Google.com i od razu indeksuje tą stronę. Miałem Furla, ale to jest badziewie i tak wszystkich linków nie zamienia na 'przyjazne linki'.

Pzdr

[mlodszy]

Tak czytam Cie @dawid18 i mowiac szczerze ni w zab nie rozumiem Twojego toku myslenia. Robot google jest bardzo, ale to bardzo aktywny. I nie majac SEO mocno odwiedza. Wiec to co mowiasz szczerze mowiac nie ma nic ze soba wspolnego. Ja uwazam FURL za cos bardzo wygodnego. Trzeba jednak potrafic go odpowiednio skonfigurowac.