ROZWIĄZANY: Poważny błąd na forum - strony traci kilkaset pozycji

[spawn3d]

Od kilku dni google rejestruje błędy, modyfikacje, ktore sadzilem ze sa powodem zaklocen, po ich usunieciu okazalo ze to cos innego bo bledy caly czas te same...;/

Wklejam błędy generowane przez google

http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=459
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=460
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=165
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&module=messaging&section=contact&do=Mail&MID=165
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=core&module=search&do=user_activity&mid=459
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=core&module=search&do=user_activity&mid=457
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=458
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&module=messaging&section=contact&do=Mail&MID=458
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=add&member_id=457
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=add&member_id=458
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=452
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=forums&module=moderate&section=moderate&f=89&st=120&auth_key=bb2fe024f8a71424996db6d9af08c1fc&do=08&t=
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=add&member_id=44
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=44
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&module=messaging&section=contact&do=Mail&MID=59
Błąd 403 	22 kwi 2011
http://warez-x.pl/index.php?app=members&section=friends&module=profile&do=add&member_id=59

Bot nie powinien mieć dostępu do takich rzeczy jak dodawanie przyjaciela czy usuwania go lub wysylania maila, dlatego powoduje to bledy, ale jak to naprawic i przez co tak to się stalo.. nie wiem

Strona byla na 2 stronie w googlach, teraz jest poza 100...

Nie proszę o pomoc, ja o nią błagam...

Edytowane 23 Kwietnia 2011 przez spawn3d

[spawn3d]

Zmieniłem teraz ustawienia, że gość(bot) nie może oglądać profilu użytkownika, jak wcześniej mógł. Zobaczymy jakie będą wyniki...

/double post bo nie dalo sie juz edytowac

Edytowane 23 Kwietnia 2011 przez spawn3d

[mlodszy]

A wystarczyło przejrzeć subforum od IP.SEO. Wszystko rozchodzi się o robots.txt i blokowanie tego co nie powinien bot robić.

Tutaj moje:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /lofiversion/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?act=Post&CODE=02
Disallow: /index.php?act=Print&client=printer
Disallow: /index.php?app=blog&view_type=list
Disallow: /index.php?app=blog&view_type=table
Disallow: /index.php?app=blog&module=actions&section=forward&do=sendentry
Disallow: /index.php?app=blog&module=actions&section=mark&do=markallread
Disallow: /index.php?app=blog&module=display&section=blog&blogid
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_comments&sort_order=desc
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_entries&sort_order=desc
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_views&sort_order=desc
Disallow: /index.php?app=blog&type=all
Disallow: /index.php?app=blog&type=all&sort_key=blog_last_edate&sort_order=asc
Disallow: /index.php?app=blog&type=all&stick=1
Disallow: /index.php?app=blog&type=dash
Disallow: /index.php?app=blog&name_box=begins
Disallow: /index.php?app=calendar
Disallow: /index.php?app=calendar$
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=core&module=attach
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=core&module=global&section=login
Disallow: /index.php?app=core&module=global&section=lostpass
Disallow: /index.php?app=core&module=global&section=register
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies&k=
Disallow: /index.php?app=core&module=help
Disallow: /index.php?app=core&module=reports
Disallow: /index.php?app=core&module=reports&rcom=links
Disallow: /index.php?app=core&module=search
Disallow: /index.php?app=core&module=search&do=active
Disallow: /index.php?app=core&module=search&do=active&search_filter_app
Disallow: /index.php?app=core&module=search&do=active&search_app=ccs
Disallow: /index.php?app=core&module=search&search_in=ccs
Disallow: /index.php?app=core&module=search&search_in=forums
Disallow: /index.php?app=core&module=search&do=user_posts
Disallow: /index.php?app=core&module=search&search_in=
Disallow: /index.php?app=core&module=search&do=active&search_app=
Disallow: /index.php?app=forums&module=
Disallow: /index.php?app=forums&module=ajax&section=topics
Disallow: /index.php?app=forums&module=ajax&section=topics&do=rateTopic
Disallow: /index.php?app=forums&module=extras§ion=rating
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=extras&section=stats
Disallow: /index.php?app=forums&module=extras&section=toggle
Disallow: /index.php?app=forums&module=extras&section=stats&do=leaders
Disallow: /index.php?app=forums&module=forums&section=attach
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=forums&module=forums&section=printtopic&client=printer
Disallow: /index.php?app=forums&module=post&section=post
Disallow: /index.php?app=forums&module=post&section=post&do=reply
Disallow: /index.php?app=forums&module=moderate
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=gallery&module=cats&section=markread&do=category
Disallow: /index.php?app=gallery&module=post&section=comment&do=postcomment
Disallow: /index.php?app=gallery&module=stats&do=comments
Disallow: /index.php?app=gallery&module=stats&do=newest
Disallow: /index.php?app=gallery&module=stats&do=ratings
Disallow: /index.php?app=gallery&module=stats&do=views
Disallow: /index.php?app=gallery&module=user
Disallow: /index.php?app=gallery&module=user&section=user
Disallow: /index.php?app=links&module=links&section=links&do=lastsubmitted
Disallow: /index.php?app=links&module=links&section=links&do=topbyhits
Disallow: /index.php?app=links&module=links&section=links&do=topbyrating
Disallow: /index.php?app=links&module=links&section=links&do=topsubmitters
Disallow: /index.php?app=links&module=links&section=categories&do=markread&cid=
Disallow: /index.php?app=links&module=links&section=categories&do=view&cid=
Disallow: /index.php?app=links&module=links&section=links&do=markread&lid=
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=list
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=online&section=online
Disallow: /index.php?app=members&module=online&sort_order=desc
Disallow: /index.php?app=members&module=online&sort_key=name&sort_order=asc&show_mem=reg
Disallow: /index.php?app=members&module=profile§ion=friends&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=add&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=add&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=status&do=lockStatus
Disallow: /index.php?app=members&module=profile&section=status&do=unlockStatus
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=members&section=view&module=list
Disallow: /index.php?app=members&module=profile&section=friend&do=remove&member_id=
Disallow: /index.php?&unlockUserAgent=1
Disallow: /index.php?autocom=blog
Disallow: /index.php?autocom=gallery
Disallow: /index.php?automodule=blog
Disallow: /index.php?automodule=blog&blogid=
Disallow: /index.php?automodule=gallery
Disallow: /index.php?showuser=
Disallow: /index.php?sharelink=
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&mode=linear
Disallow: /*&mode=linearplus
Disallow: /*&mode=linear
Disallow: /*&mode=linearplus
Disallow: /*&mode=threaded
Disallow: /*&st=
Disallow: /*&cat=0
Disallow: /*&p=
Disallow: /*&s=
Disallow: /*&pid=
Disallow: /*&prune_day=
Disallow: /*&hl=
Disallow: /*&st=0
Disallow: /*&show=nextnewest
Disallow: /*&start=
Disallow: /*&tag=
Disallow: /*page__cid__*$
Disallow: /*page__f__*$
Disallow: /*page__prune_day__*$
Disallow: /*page__s__*$
Disallow: /*page__show__newcomment
Disallow: /*page__sort_key__views__order_key__desc__prune_key__*
Disallow: /*page__sort_key__rating__order_key__desc__prune_key__*
Disallow: /*page__sort_key__id__order_key__desc__prune_key__*
Disallow: /*page__sort_key__comments__order_key__desc__prune_key__*
Disallow: /*page__tab__*$
Disallow: /*page__view__*$
Disallow: /*page__tag__
Disallow: /*page___gocomments
Disallow: /*prune_day*$
Disallow: /*prune__day*$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getlast$
Disallow: /*view__getlastpost$
Disallow: /*view__getnewpost$
Disallow: /*view__getnext$
Disallow: /*view__new$
Disallow: /*view__old$
Disallow: /*view-getfirst$
Disallow: /*view-getprevious$
Disallow: /*view-getlast$
Disallow: /*view-getlastpost$
Disallow: /*view-getnewpost$
Disallow: /*view-getnext$
Disallow: /*view-new$
Disallow: /*view-old$
Disallow: /*&view=getlastpost$
Disallow: /*&view=getnewpost$
Disallow: /*&view=new$
Disallow: /*&view=old$
Disallow: /*&view=getfirst$
Disallow: /*&view=getlast$
Disallow: /*&view=getnext$
Disallow: /*&view=getprevious$
Disallow: /*?s=
Disallow: /blogs/*page__s__*$
Disallow: /*&cat=0

[DawPi]

Ale o co Ci chodzi? Przecież bot nic nie zrobi, jak nie będzie mieć uprawnień.

[mlodszy]

Fakt @DawPi ale jednak trzeba obserwować co się dzieje. Boty standardowo jak nie mają czegoś zabronionego to jest to w pełni dozwolone ... Co oznacza że straszenie dużo błędów generują.

Teraz jak Bot nie będzie mógł oglądać profili to będą znów błędy, bo będzie chciał przechodzić do profili i trafi na bloka

Edytowane 23 Kwietnia 2011 przez mlodszy

[spawn3d]

Nie będzie ponieważ ogólnie boty nie mogą oglądać profili, ja zmieniłem jakiś czas temu że mogą i chyba przez to się robiły błędy. Na tym forum również jak sie wylogujesz to nie obejzysz profilu swojego ;P

Fajna lista tak w ogóle O.O sam to pisałeś wszystko?xd testowałeś wydajność takiego pliku, że np szybciej się indeksują inne strony itp?

[mlodszy]

Plik, a raczej jego zawartość została zamieszczona na http://community.invisionpower.com/ przez jedną z aktywnych osób w dziale IP.SEO.

Wpisy te, powodują że roboty omijają to co nie ma być dla nich interesujące np. wyszukiwarkę, sortowanie tematów/postów, dodawanie do przyjaciół etc.

Czy to pomaga, według mnie tak. Ja zauważyłem, że dzięki temu pozbyłem się masy błędów generowanych przez moje forum, widocznych w narzędziach webmasterów.

[spawn3d]

A jak nie mam kalendarza i bloga? Bo widze ze tam sa jakies wpisy odnosnie tego. Wystarczy ze wkleje po prostu to co napisales w tagu code w plik robots i juz bedzie smigac?

Jak na razie mam tam wpisane

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Edytowane 23 Kwietnia 2011 przez spawn3d

[mlodszy]

Ja też nie mam... Ale przecież to w żaden sposób nie szkodzi. Poza tym, tak jak masz napisane w instrukcji musisz stosownie edytować robots.txt.

Ty tak samo jak ja nie masz ścieżki dodatkowej "/forum/" więc Twoje wpisy nie powinny zawierać go, tak samo jak te moje.

[spawn3d]

Ok, czyli jeżeli wywale teraz wszystko z robot.txt i wrzuce zawartosc ktora mi podales to bedzie jak najbardziej ok zgadza sie? wole sie upewnic

[mlodszy]

Tak. Nic się nie stanie. Jedyne co to boty będą omijać rzeczy, które powinny

[spawn3d]

ustawione, dziękuję =)

[DawPi]

Problem ROZWIĄZANY. Jeśli są jakiekolwiek wątpliwości, pytania proszę o założenie nowego tematu.

Wszelkie uzasadnione reklamacje/pretensje/sugestie/rady przyjmuje ekipa forum.