Skocz do zawartości
"Idzie nowe..." - o zmianach i nie tylko ×
Przeniesienie zakupów z IPS Marketplace / Moving bought items from IPS Marketplace ×
  • wpisów
    7
  • komentarzy
    22
  • wyświetleń
    24 561

IP.SEO - konfiguracja cz.3 (plik robots.txt)

matma4u

Wpis opublikowany przez matma4u

3 194 wyświetleń

 Udostępnij

Ostatnio w temacie http://forum.invisio...plik-robotstxt/ poruszyłem problem optymalnych wpisów w pliku robots.txt. Jak wiemy plik ten służy do informowania robotów sieciowych, które zasoby naszej witryny mogą przeglądać (indeksować), a które mają omijać "szerokim łukiem". W kontekście używania IP.SEO plik ten ma dość ważne znaczenie - wspomaga tworzenie przez boty indeksu najbardziej wartościowych stron. Za pomocą ustawień IP.SEO bardzo precyzyjnie określamy, co powinno zostać zindeksowane, a za pomocą robots.txt określamy co powinno być potraktowane jako "szum".

Na podstawie własnych doświadczeń i analizy danych pobranych z narzędzi dla webmasterów (Google) stworzyłem taki plik robots.txt:

User-agent: *
Disallow: /admin/    
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=forums
Disallow: /*app=core
Disallow: /*app=members
Disallow: /*app=calendar
Disallow: /*app=blog           	/usuń ten wiersz, jeśli nie masz zainstalowane IP.Blogs/
Disallow: /*app=downloads          /usuń ten wiersz, jeśli nie masz zainstalowane IP.Downloads/
Disallow: /*app=gallery            /usuń ten wiersz, jeśli nie masz zainstalowane IP.Gallery/
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__
Disallow: /*&view=
Disallow: /*?s=
Disallow: /*&s=

Moja rada

Jeżeli nie posiadasz w katalogu głównym pliku robots.txt to utwórz go. Dzięki temu precyzyjnie określisz strefy dostępu i zaoszczędzisz na transferze serwera, który marnotrawią boty mające pełen niczym nieskrępowany dostęp do Twojej witryny.

Uwaga!

Jeżeli zainstalowałeś skrypt forum nie w katalogu głównym lecz np. w katalogu mojepiekneforum to pierwsze siedem wpisów powinno wyglądać następująco:

Disallow: /mojepiekneforum/admin/    
Disallow: /mojepiekneforum/cache/
Disallow: /mojepiekneforum/converge_local/
Disallow: /mojepiekneforum/hooks/
Disallow: /mojepiekneforum/ips_kernel/
Disallow: /mojepiekneforum/retail/
Disallow: /mojepiekneforum/public/style_captcha/

  • Lubię to 4
 Udostępnij

5 komentarzy

Rekomendowane komentarze

matma4u

Proszę zauważyć, że robotom sieciowym można jeszcze bardziej ułatwić pracę poprzez zastosowanie wyrażeń regularnych. Skraca to wydatnie czas i rozmiar pliku robots.txt.

Wpisy

Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread

można zastąpić trzema linijkami:

Disallow: /*app=forums
Disallow: /*app=core
Disallow: /*app=members

Odnośnik do komentarza
makensis

Wstawienie: 

Disallow: /*view__
Disallow: /*&view=

to tak jakby strzelić sobie gola na nowym forum. Strona główna stanie się statyczna, a oto chyba nie chodzi w forach.

Disallow: /*app=forums
Disallow: /*app=core
Disallow: /*app=members

Ginie w ten sposób między innymi regulamin for, pomoc, aktywni użytkownicy itp.

Odnośnik do komentarza
matma4u

Ale zastanów się co tak faktycznie jest ważne w Twojej stronie: regulamin, pomoc ? Chyba przecież o to chodzi by wyszukiwarki indeksowały przede wszystkim treść która jest tematyką Twojego forum, to ona przecież jest wartościowa.

Odnośnik do komentarza

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę.