Skocz do zawartości
"Idzie nowe..." - o zmianach i nie tylko ×
Przeniesienie zakupów z IPS Marketplace / Moving bought items from IPS Marketplace ×

IP.SEO - plik robots.txt

matma4u

Przez matma4u
w Tutoriale i porady

 Udostępnij

Rekomendowane odpowiedzi

matma4u Mentor

matma4u

Opublikowano
Opublikowano

Jeżeli używacie na swoim forum modyfikacji IP.SEO i Friendly URL to warto utworzyć plik robots.txt na serwerze w celu ograniczenia transferu pobieranego przez Googlebot'a i ograniczeniu błędów 403 i błędów indeksowania.

Pytacie po co to mi potrzebne?

Otóż Googlebot (i nie tylko) próbuje również odwiedzać i indeksować strony typu:

http://matma4u.pl/index.php?app=core&module=search&do=active&search_app=forums
http://matma4u.pl/index.php?app=forums&module=moderate&section=moderate&f=28&st=0&auth_key=bb2fe024f8a71424996db8c1fc&do=08&t=
http://matma4u.pl/index.php?app=members&section=friends&module=profile&do=remove&member_id=8099
http://matma4u.pl/index.php?app=blog&module=actions&section=forward&do=sendentry&eid=86&blogid=22&st=

Nie muszę tłumaczyć chyba, że po pierwsze nie ma sensu indeksować tego typu odnośników, a po drugie próba uruchomienia każdego z nich generuje błąd 403. W związku z tym w katalogu głównym serwera tworzymy plik robots.txt o zawartości:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /*app=

46279b204b.png

Rozwiążemy dla Ciebie każde zadanie z matematyki: http://matma4u.pl

Odnośnik do komentarza
Udostępnij na innych stronach
ania07 Mentor

ania07

Opublikowano
Opublikowano

Mój Gogleboot wygląda tak:

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /lofiversion/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?act=Post&CODE=02

Disallow: /index.php?act=Print&client=printer

Disallow: /index.php?app=blog&view_type=list

Disallow: /index.php?app=blog&view_type=table

Disallow: /index.php?app=blog&module=actions&section=forward&do=sendentry

Disallow: /index.php?app=blog&module=actions&section=mark&do=markallread

Disallow: /index.php?app=blog&module=display&section=blog&blogid

Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_comments&sort_order=desc

Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_entries&sort_order=desc

Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_views&sort_order=desc

Disallow: /index.php?app=blog&type=all

Disallow: /index.php?app=blog&type=all&sort_key=blog_last_edate&sort_order=asc

Disallow: /index.php?app=blog&type=all&stick=1

Disallow: /index.php?app=blog&type=dash

Disallow: /index.php?app=blog&name_box=begins

Disallow: /index.php?app=calendar

Disallow: /index.php?app=calendar$

Disallow: /index.php?app=calendar&module=calendar

Disallow: /index.php?app=calendar&module=calendar

Disallow: /index.php?app=core&module=attach

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /index.php?app=core&module=global&section=login

Disallow: /index.php?app=core&module=global&section=lostpass

Disallow: /index.php?app=core&module=global&section=register

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies&k=

Disallow: /index.php?app=core&module=help

Disallow: /index.php?app=core&module=reports

Disallow: /index.php?app=core&module=reports&rcom=links

Disallow: /index.php?app=core&module=search

Disallow: /index.php?app=core&module=search&do=active

Disallow: /index.php?app=core&module=search&do=active&search_filter_app

Disallow: /index.php?app=core&module=search&do=active&search_app=ccs

Disallow: /index.php?app=core&module=search&search_in=ccs

Disallow: /index.php?app=core&module=search&search_in=forums

Disallow: /index.php?app=core&module=search&do=user_posts

Disallow: /index.php?app=core&module=search&search_in=

Disallow: /index.php?app=core&module=search&do=active&search_app=

Disallow: /index.php?app=forums&module=

Disallow: /index.php?app=forums&module=ajax&section=topics

Disallow: /index.php?app=forums&module=ajax&section=topics&do=rateTopic

Disallow: /index.php?app=forums&module=extras?ion=rating

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=extras&section=stats

Disallow: /index.php?app=forums&module=extras&section=toggle

Disallow: /index.php?app=forums&module=extras&section=stats&do=leaders

Disallow: /index.php?app=forums&module=forums&section=attach

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /index.php?app=forums&module=forums&section=printtopic&client=printer

Disallow: /index.php?app=forums&module=post&section=post

Disallow: /index.php?app=forums&module=post&section=post&do=reply

Disallow: /index.php?app=forums&module=moderate

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=gallery&module=cats&section=markread&do=category

Disallow: /index.php?app=gallery&module=post&section=comment&do=postcomment

Disallow: /index.php?app=gallery&module=stats&do=comments

Disallow: /index.php?app=gallery&module=stats&do=newest

Disallow: /index.php?app=gallery&module=stats&do=ratings

Disallow: /index.php?app=gallery&module=stats&do=views

Disallow: /index.php?app=gallery&module=user

Disallow: /index.php?app=gallery&module=user&section=user

Disallow: /index.php?app=links&module=links&section=links&do=lastsubmitted

Disallow: /index.php?app=links&module=links&section=links&do=topbyhits

Disallow: /index.php?app=links&module=links&section=links&do=topbyrating

Disallow: /index.php?app=links&module=links&section=links&do=topsubmitters

Disallow: /index.php?app=links&module=links&section=categories&do=markread&cid=

Disallow: /index.php?app=links&module=links&section=categories&do=view&cid=

Disallow: /index.php?app=links&module=links&section=links&do=markread&lid=

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=list

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=online&section=online

Disallow: /index.php?app=members&module=online&sort_order=desc

Disallow: /index.php?app=members&module=online&sort_key=name&sort_order=asc&show_mem=reg

Disallow: /index.php?app=members&module=profile?ion=friends&do=remove&member_id=

Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=

Disallow: /index.php?app=members&module=profile&section=friends&do=add&member_id=

Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=

Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=

Disallow: /index.php?app=members&section=friends&module=profile&do=add&member_id=

Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=

Disallow: /index.php?app=members&module=profile&section=status&do=lockStatus

Disallow: /index.php?app=members&module=profile&section=status&do=unlockStatus

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?app=members&section=view&module=list

Disallow: /index.php?app=members&module=profile&section=friend&do=remove&member_id=

Disallow: /index.php?&unlockUserAgent=1

Disallow: /index.php?autocom=blog

Disallow: /index.php?autocom=gallery

Disallow: /index.php?automodule=blog

Disallow: /index.php?automodule=blog&blogid=

Disallow: /index.php?automodule=gallery

Disallow: /index.php?showuser=

Disallow: /index.php?sharelink=

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&mode=linear

Disallow: /*&mode=linearplus

Disallow: /*&mode=linear

Disallow: /*&mode=linearplus

Disallow: /*&mode=threaded

Disallow: /*&st=

Disallow: /*&cat=0

Disallow: /*&p=

Disallow: /*&s=

Disallow: /*&pid=

Disallow: /*&prune_day=

Disallow: /*&hl=

Disallow: /*&st=0

Disallow: /*&show=nextnewest

Disallow: /*&start=

Disallow: /*&tag=

Disallow: /*page__cid__*$

Disallow: /*page__f__*$

Disallow: /*page__prune_day__*$

Disallow: /*page__s__*$

Disallow: /*page__show__newcomment

Disallow: /*page__sort_key__views__order_key__desc__prune_key__*

Disallow: /*page__sort_key__rating__order_key__desc__prune_key__*

Disallow: /*page__sort_key__id__order_key__desc__prune_key__*

Disallow: /*page__sort_key__comments__order_key__desc__prune_key__*

Disallow: /*page__tab__*$

Disallow: /*page__view__*$

Disallow: /*page__tag__

Disallow: /*page___gocomments

Disallow: /*prune_day*$

Disallow: /*prune__day*$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getlast$

Disallow: /*view__getlastpost$

Disallow: /*view__getnewpost$

Disallow: /*view__getnext$

Disallow: /*view__new$

Disallow: /*view__old$

Disallow: /*view-getfirst$

Disallow: /*view-getprevious$

Disallow: /*view-getlast$

Disallow: /*view-getlastpost$

Disallow: /*view-getnewpost$

Disallow: /*view-getnext$

Disallow: /*view-new$

Disallow: /*view-old$

Disallow: /*&view=getlastpost$

Disallow: /*&view=getnewpost$

Disallow: /*&view=new$

Disallow: /*&view=old$

Disallow: /*&view=getfirst$

Disallow: /*&view=getlast$

Disallow: /*&view=getnext$

Disallow: /*&view=getprevious$

Disallow: /*?s=

Disallow: /blogs/*page__s__*$

Disallow: /*&cat=0

Czy w takiej sytuacji powinienem go wymienić na ten:

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /public/js/

Disallow: /public/style_captcha/

Disallow: /public/style_css/

Disallow: /*app=

czy zostać jedna przy starym ?

Odnośnik do komentarza
Udostępnij na innych stronach
Amfidiusz Arcymistrz

Amfidiusz

Opublikowano
Opublikowano

Zdecydowanie zostaw swój. Nie wiem dlaczego matma podał taki okrojony plik. Będzie on powodował wiele powtórzeń.

Najlepiej używać pliku dostarczonego w paczce z IPB:

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Chociaż jak wiemy nie od dzisiaj, SEO w IPB szwankuje, więc powyższa zawartość nie jest idealna. Jeśli ktoś się zna, to może eksperymentować - na forum IPSu można znaleźć wiele ciekawych przykładów z wytłumaczeniem :)

  • Lubię to 1

Ustawienia IP.Board po polsku!

Odnośnik do komentarza
Udostępnij na innych stronach
matma4u Mentor

matma4u

Opublikowano
  • Autor
Opublikowano

Tą cześć zastąpić można właśnie jednym wpisem 

Disallow: /index.php?app=blog&view_type=list
Disallow: /index.php?app=blog&view_type=table
Disallow: /index.php?app=blog&module=actions&section=forward&do=sendentry
Disallow: /index.php?app=blog&module=actions&section=mark&do=markallread
Disallow: /index.php?app=blog&module=display&section=blog&blogid
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_comments&sort_order=desc
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_entries&sort_order=desc
Disallow: /index.php?app=blog&module=display&section=top10&max_results=10&sort_key=blog_num_views&sort_order=desc
Disallow: /index.php?app=blog&type=all
Disallow: /index.php?app=blog&type=all&sort_key=blog_last_edate&sort_order=asc
Disallow: /index.php?app=blog&type=all&stick=1
Disallow: /index.php?app=blog&type=dash
Disallow: /index.php?app=blog&name_box=begins
Disallow: /index.php?app=calendar
Disallow: /index.php?app=calendar$
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=core&module=attach
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=core&module=global&section=login
Disallow: /index.php?app=core&module=global&section=lostpass
Disallow: /index.php?app=core&module=global&section=register
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies&k=
Disallow: /index.php?app=core&module=help
Disallow: /index.php?app=core&module=reports
Disallow: /index.php?app=core&module=reports&rcom=links
Disallow: /index.php?app=core&module=search
Disallow: /index.php?app=core&module=search&do=active
Disallow: /index.php?app=core&module=search&do=active&search_filter_app
Disallow: /index.php?app=core&module=search&do=active&search_app=ccs
Disallow: /index.php?app=core&module=search&search_in=ccs
Disallow: /index.php?app=core&module=search&search_in=forums
Disallow: /index.php?app=core&module=search&do=user_posts
Disallow: /index.php?app=core&module=search&search_in=
Disallow: /index.php?app=core&module=search&do=active&search_app=
Disallow: /index.php?app=forums&module=
Disallow: /index.php?app=forums&module=ajax&section=topics
Disallow: /index.php?app=forums&module=ajax&section=topics&do=rateTopic
Disallow: /index.php?app=forums&module=extras?ion=rating
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=extras&section=stats
Disallow: /index.php?app=forums&module=extras&section=toggle
Disallow: /index.php?app=forums&module=extras&section=stats&do=leaders
Disallow: /index.php?app=forums&module=forums&section=attach
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=forums&module=forums&section=printtopic&client=printer
Disallow: /index.php?app=forums&module=post&section=post
Disallow: /index.php?app=forums&module=post&section=post&do=reply
Disallow: /index.php?app=forums&module=moderate
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=gallery&module=cats&section=markread&do=category
Disallow: /index.php?app=gallery&module=post&section=comment&do=postcomment
Disallow: /index.php?app=gallery&module=stats&do=comments
Disallow: /index.php?app=gallery&module=stats&do=newest
Disallow: /index.php?app=gallery&module=stats&do=ratings
Disallow: /index.php?app=gallery&module=stats&do=views
Disallow: /index.php?app=gallery&module=user
Disallow: /index.php?app=gallery&module=user&section=user
Disallow: /index.php?app=links&module=links&section=links&do=lastsubmitted
Disallow: /index.php?app=links&module=links&section=links&do=topbyhits
Disallow: /index.php?app=links&module=links&section=links&do=topbyrating
Disallow: /index.php?app=links&module=links&section=links&do=topsubmitters
Disallow: /index.php?app=links&module=links&section=categories&do=markread&cid=
Disallow: /index.php?app=links&module=links&section=categories&do=view&cid=
Disallow: /index.php?app=links&module=links&section=links&do=markread&lid=
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=list
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=online&section=online
Disallow: /index.php?app=members&module=online&sort_order=desc
Disallow: /index.php?app=members&module=online&sort_key=name&sort_order=asc&show_mem=reg
Disallow: /index.php?app=members&module=profile?ion=friends&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=add&member_id=
Disallow: /index.php?app=members&module=profile&section=friends&do=remove&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=add&member_id=
Disallow: /index.php?app=members&section=friends&module=profile&do=remove&member_id=
Disallow: /index.php?app=members&module=profile&section=status&do=lockStatus
Disallow: /index.php?app=members&module=profile&section=status&do=unlockStatus
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=members&section=view&module=list
Disallow: /index.php?app=members&module=profile&section=friend&do=remove&member_id=

właśnie tym: 

Disallow: /*app=

  • Lubię to 1

46279b204b.png

Rozwiążemy dla Ciebie każde zadanie z matematyki: http://matma4u.pl

Odnośnik do komentarza
Udostępnij na innych stronach
matma4u Mentor

matma4u

Opublikowano
  • Autor
Opublikowano

Najlepiej używać pliku dostarczonego w paczce z IPB:

Plik dostarczony w paczce IPB powodował u mnie ponad 33000 błędów (dane z Google), teraz mam tylko 1050 błędów. Postaram się jak najszybciej podać plik jak najbardziej zbliżony do ideału.

Muszę tylko przeprowadzić jeszcze kilka testów na "żywym organizmie"

  • Lubię to 1

46279b204b.png

Rozwiążemy dla Ciebie każde zadanie z matematyki: http://matma4u.pl

Odnośnik do komentarza
Udostępnij na innych stronach
matma4u Mentor

matma4u

Opublikowano
  • Autor
Opublikowano

W pierwszym moim poście jest niekompletny plik, chciałem go edytować, ale nie mogłem. Temat musiał wpierw zostać zatwierdzony by stał się widoczny, a to spowodowało, że minął dozwolony czas na edycję.

46279b204b.png

Rozwiążemy dla Ciebie każde zadanie z matematyki: http://matma4u.pl

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
 Udostępnij
Tematy

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę.