ROZWIĄZANY: Boty wyszukiwarek

[sp69]

Witam,

jeden z moderatorów zauważył na forum dziwny problem. W jednym z zamkniętych działów "łazi" Alexa, wygląda to tak:

Martwi mnie czy przypadkiem nie indeksuje tematów, które nie powinny wyjść z działu zamkniętego. Wchodząc na forum jako gugle bot (Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)) nie widzę działu zamkniętego. Czy mam się czym martwić? Jeśli jest problem to jak to zmienić?

[DawPi]

Witaj,

najpierw sprawdź, jak są traktowane boty:

ACP > System > Ustawienia systemowe > System > Search Engine Spiders >> Treat spider/bot as part of which group?

Bo może się okazać, że jest traktowana, jako grupa, która ma dostęp do takiego działu.

I jak widać skrypt prawidłowo rozpoznał bota po nagłówku (regex - ^ia_archive), więc nie powinno być problemu.

[sp69]

Boty mają uprawnienia zwykłego użytkownika, więc niby nie powinny mieć dostępu do działu zamkniętego. Jednak coś jest nie tak, bo jak widać Alexa buszuje w takim dziale

Edytowane 24 Października 2009 przez sp69

[DawPi]

Zmień sobie nagłówek na Alexy i sprawdź i będziemy w 100% pewni. Wg mnie nie ma tam dostępu, a te dane są tylko z próby dostępu do tego działu.

[sp69]

Wchodząc na forum jako Alexa, rzeczywiście nie widzę działów zamkniętych, ale skąd jest znany adres tego zamkniętego działu? Gdyby nawet dziwnym trafem wyszukiwarka trafiła na adres zamkniętego działu to już nie powinna (moim zdaniem) widzieć tematów. Sam już nie wiem co robić.

[DawPi]

No i nie widzi. Ty wchodząc, jako Alexa też nie widzisz. Ustaw maskę dla użytkowników by definitywnie nie widzieli tego forum (pole SHOW).

Warto też sprawdzić czy odznaczona jest opcja o nazwie Pozwól użytkownikom, którzy mogą przeglądać forum, ale nie mogą czytać tematów, zobaczyć listę tematów w edycji tegoż forum.

[sp69]

Pozwól użytkownikom, którzy mogą przeglądać forum, ale nie mogą czytać tematów, zobaczyć listę tematów

Jeśli ustawisz 'tak', użytkownik będzie widział nazwę tematu, ale nie będzie mógł go przeczytać

Było i jest ustawione na Nie, więc było ok.

Zastanawiała mnie jeszcze opcja:

Ukryj informacje o ostatnim poście

Użyteczne jeśli ustawienia dostępu i widoczności dla użytkowników są różne.

Miałem to ustawione na Nie.

Byłem pewny, że to właśnie tutaj wyszukiwarki miały linki do tematów w dziale zamkniętym, zanim zmieniłem tą opcję na Tak sprawdziłem jak widzą to boty, ale to nie było to. Wchodząc jako wyszukiwarka w link Wyświetl nową zawartość wyświetla błąd

Nie masz uprawnień by korzystać z opcji szukania.

i monit

Kliknij, aby zalogować się.

Kanał RSS też odpada jako źródło linków do zamkniętych tematów. Przegląd codzienny to samo co z Wyświetl nową zawartość.

Dalej nie wiem skąd Alexa dorwała link do tych zamkniętych tematów. Czy jest się czym martwić?

[DawPi]

Wg mnie nie ma się czym martwić.

Myślę skąd mogła wytrzasnąć linki, ale niekoniecznie fizycznie tam zaglądnęła. Wysnuł bym teorię, że miała w pamięci ID z innych for i próbowała wbić na takie u Ciebie, ale to chyba zbyt naciągane. Choć..

[sp69]

W zasadzie to nawet jeśli link pojawi się w wynikach wyszukiwania nie powinno być tragedii bo ktoś bez uprawnień i tak tam nie wejdzie, ale... no właśnie jest kilka "ale"

Od dwóch dni sprawdzam i nie widzę botów wyszukiwarek w działach zamkniętych, będę to obserwował. Ciekawe czy ktoś inny miał podobny problem? W zasadzie to chyba temat na razie wyczerpany. Zobaczę co będzie dalej. Jak znajdę coś na ten temat to napiszę w nowym wątku.

[DawPi]

Problem ROZWIĄZANY. Jeśli są jakiekolwiek wątpliwości, pytania proszę o założenie nowego tematu.

Wszelkie uzasadnione reklamacje/pretensje/sugestie/rady przyjmuje ekipa forum.