plik robots.txt

[BitGit]

Tworząc plik dla robotów w pierwszej linii mamy

 

User-agent: *

Disallow: /admin/

 

Moje pytanie jest następujące: jeśli zmieniliśmy nazwę katalogu admin na "xxx" to czy w pliku robots.txt musimy to podmienić? ( przyznaję, trochę byłoby to bez sensu), jednak wolę zapytać.

 

Z logicznego punktu widzenia robot będzie myszkował po katalogu xxx, bo go nie ograniczamy; katalogu admin oczywiście nawet nie znajdzie..

Zasadnicza kwestia jest taka, jeśli trzeba "odrzucić" roboty od katalogu xxx to czy musimy dopisać go do naszej listy, czyli:

Disallow: /xxx/  

?

Jeśli tak, to bardzo ładnie ujawnimy ten katalog dla każdego, potencjalnie zainteresowanego szpiega.

[JamLasica]

Jak sam zauważyłeś - nie podawaj, bo całe 'głębokie ukrycie' będzie mizerne

Bot wyszukiwarkowy nie powinien tam w żaden sposób tam trafić - do czasu, aż nie zalinkujesz tego w jakimś 'publicznym' miejscu - one nie lecą bruteforcem po Twojej domenie i nie szukają losowych nazw katalogów ;-)

A jak ktoś kto chce Ci zaszkodzić napisze takiego bota lecącego po wszystkich możliwych kombinacjach to... i tak nie będzie respektował robots.txt.

[DawPi]

Jak myślisz co robot tam znajdzie? Ekran logowania tylko.

W dodatku jak się zmienia folder admin/ na inny to i pasuje go .htaccess'em zabezpieczyć.

[BitGit]

W dodatku jak się zmienia folder admin/ na inny to i pasuje go .htaccess'em zabezpieczyć.

 

Myślę, że tak naprawdę to robots.txt to o kant d.. można sobie potłuc, jedynie w miarę sensowne zabezpieczenie to plikiem htaccess, ale zabawa na tym pliku może czasami niestety narobić więcej szkód niż korzyści