ROZWIĄZANY: Jak ograniczyć indeksowanie forum przez bota Google?

[Jurij]

Witam,

Jak ograniczyć indeksowanie forum przez bota Google? Problem jest taki, że bot google z niewiadomych przyczyn przeprowadził coś na wzór ataku DDOS na nasze forum. W przeciągu minuty generuje około 20 akcji... O godzinie 17 skasowałem logi spidera Google, teraz o 19:24 jest ich już 3000 ... To stanowczo za dużo, hosting jest katowany. Dobrze, że forum jest indeksowane, ale nie dobrze że tak intensywnie. Jak to ograniczyć do np. 30 zapytań na godzinę?

1. Próbowałem blokować adresy ip botów google'a - nic to nie dało.

2. Zmieniłem plik robots.txt dodając:

User-agent: Googlebot
Disallow: /

I nic to nie dało Jak się przed tym bronić?

Pozdrawiam,

Jurij

[Jurij]

Naprawdę nikt nie ma żadnego pomysłu? 50-60 zapytań na minutę to chyba nie jest normalne... Około 1 w nocy wyczyściłem logi bota Google, do teraz bot Googla wykonał około 10 000 akcji: ... Jak się przed tym bronić?

[Portek]

50-60 zapytań na minutę to chyba nie jest normalne...

Dużo nowego contentu === dożo do indeksowania.

http://www.google.com/webmasters/tools/?hl=pl - powinno pomóc po zweryfikowaniu strony i ustawieniu bota google.

[DawPi]

Problem ROZWIĄZANY. Jeśli są jakiekolwiek wątpliwości, pytania proszę o założenie nowego tematu.

Wszelkie uzasadnione reklamacje/pretensje/sugestie/rady przyjmuje ekipa forum.