Witam,
Jak ograniczyć indeksowanie forum przez bota Google? Problem jest taki, że bot google z niewiadomych przyczyn przeprowadził coś na wzór ataku DDOS na nasze forum. W przeciągu minuty generuje około 20 akcji... O godzinie 17 skasowałem logi spidera Google, teraz o 19:24 jest ich już 3000 ... To stanowczo za dużo, hosting jest katowany. Dobrze, że forum jest indeksowane, ale nie dobrze że tak intensywnie. Jak to ograniczyć do np. 30 zapytań na godzinę?
1. Próbowałem blokować adresy ip botów google'a - nic to nie dało.
2. Zmieniłem plik robots.txt dodając:
User-agent: Googlebot
Disallow: /
I nic to nie dało Jak się przed tym bronić?
Pozdrawiam,
Jurij