Reputacja - crash serwera (ibf_reputation_cache)

[mieciu]

W dalszym ciągu zmagam się z problemami z systeme reputacji po aktualizacji forum z wersji 3.2.x do 3.3.4.

Odbijam sobie piłęczkę z IPS'em, ale oni generalnie mają to głęboko w poważaniu, albo nie chce im się znaleźć problemu.

Problem wygląda tak - ktoś ma dużo pkt reputacji, np 100 - gdy ogląda się jego podgląd (otrzymane), serwer zaczyna mielić i mielić, wpieprza cały dostępny ram i na końcu wywala 500 albo zawiesza się w taki sposób, że tylko reset pomaga.

Zrobiłem mirror forum i wycziściłem tabele ibf_reputation_cache

Problem ustąpił, reputacje zaczęły się ładować migiem, nie wyskakiwały błędy, dopóki tabela nie nabrała kilku tys. rekordów... i znów crash.

Z niedzieli na poniedziałek cały system się wysypał i był niedostępny przez kilka godzin.

Ostatnie logi z serwera, z których nic nie wynika:

[sun Aug 26 22:19:53 2012] [error] [client 89.73.232.169] Premature end of script headers: index.php, referer: http://www.forumrowerowe.org/

[sun Aug 26 22:19:53 2012] [warn] [client 178.43.117.124] mod_fcgid: read data timeout in 40 seconds, referer: http://www.google.pl/url?sa=t&rct=j&q=na%20rowerze%20zakopiank%C4%85&source=web&cd=3&ved=0CDMQFjAC&url=http%3A%2F%2Fwww.forumrowerowe.org%2Ftopic%2F95596-trasamyslenice-krakow%2F&ei=gIQ6UNb-DoTRsgbe9IC4Ag&usg=AFQjCNGdnFRtykkkAwpeOwEIIxFZ3s85Cw

[sun Aug 26 22:19:53 2012] [error] [client 178.43.117.124] Premature end of script headers: index.php, referer: http://www.google.pl/url?sa=t&rct=j&q=na%20rowerze%20zakopiank%C4%85&source=web&cd=3&ved=0CDMQFjAC&url=http%3A%2F%2Fwww.forumrowerowe.org%2Ftopic%2F95596-trasamyslenice-krakow%2F&ei=gIQ6UNb-DoTRsgbe9IC4Ag&usg=AFQjCNGdnFRtykkkAwpeOwEIIxFZ3s85Cw

[sun Aug 26 22:19:53 2012] [warn] [client 77.253.177.231] (104)Connection reset by peer: mod_fcgid: error reading data from FastCGI server, referer: http://www.forumrowerowe.org/

[sun Aug 26 22:19:53 2012] [error] [client 77.253.177.231] Premature end of script headers: index.php, referer: http://www.forumrowerowe.org/

[sun Aug 26 22:19:54 2012] [error] mod_fcgid: process /var/www/folder_forum/php.fcgi(14848) exit(communication error), get unexpected signal 11

[sun Aug 26 22:19:54 2012] [error] mod_fcgid: process /var/www/folder_forum/php.fcgi(14847) exit(communication error), get unexpected signal 11

Potem serwer się zawiesił i wymagał restartu.

MySQL nic nie pokazuje w tym temacie.

Druga sprawa - to nie jest wina dodatków. Wyinstalowałem WSZYSTKIE hooki (nawet te oficjalne) oraz aplikacje. Sytuacja się nie zmieniła. Cache wyczyściłem. Nie wiem już co mam robić i kogo prosić o pomoc.

Napisalem IPSowi, ze gdy tabela z cache reputacji jest niewielkich rozmiarow, system dziala, ale oni oczywiście odpalili system gdy tabela była pusta, sprawdzili i stwierdzili, że "nie ma problemu". Jak z dziećmi.

[DawPi]

No to może spróbuj do nich napisać, jak tabela będzie większa? Tutaj to chyba bardziej trzeba iść w sprawdzanie serwera i zarządzania zasobami przez skrypt.

Bo u nich też tych reputacji jest sporo i się nie wiesza. U nas chyba też jest OK - czy zauważyłeś jakieś błędy u nas?

[mieciu]

Próbuję ją na razie znów napełnić. Dzisiaj rano się wywalało, więc ją opróżniłem. Chwilę to zajmie.

Wiesz, przed aktualizacją nic się nie działo. Serwer działał jak ta lala i po wyłaczeniu reputacji też, a przecież na tym serku leży jeszcze inne forum i kilka innych stron. Więc trudno będzie mi uwierzyć nagle, że wystąpił problem akurat po aktualizacji w zupełnie "mało znaczącym rozszerzeniu".. a tym bardziej, że przy pierwszych oględzinach typ z IPSu faktycznie zobaczył crash'a na własne oczy. Teraz jest ktoś inny i mi mówi, że działa

[Portek]

cgi na fpm i problem znika, obciążenie rozrzucone między procesami potomnymi, gdy jeden przestaje działać na jego miejsce wskakuje drugi. Przydał by się jakiś większy test, bo niestety z tego za wiele nie wynika i właściwie do końca nie wiadomo co jest winowajcą - bo nie rozumiem, jak winien użytkownik który ma powyżej XX reputacji na koncie.

[mieciu]

cgi na fpm i problem znika, obciążenie rozrzucone między procesami potomnymi, gdy jeden przestaje działać na jego miejsce wskakuje drugi.

Nie wiem o czym ty do mnie mówisz

[Portek]

Dobra, inaczej, pokaż konfigurację php'a - /etc/php5/fpm

[mieciu]

nie ma czegoś takiego

/etc/php/cli-php5.3

albo

/etc/php/cgi-php5.3

brak fpm

[elroy]

Ile masz ramu w serwerze? (co to za serwer) Ja na Twoim miejscu pozbyłbym się apacha na rzecz np nginxa i tak jak kolega Portek napisał, php-fpm

[mieciu]

Ile masz ramu w serwerze? (co to za serwer) Ja na Twoim miejscu pozbyłbym się apacha na rzecz np nginxa i tak jak kolega Portek napisał, php-fpm

naprawdę? tak rozwiązujesz problemy?

Ręce mi opadają.

[elroy]

Tak, na prawdę. Sprawiam wrażenie, żebym sobie z Ciebie złośliwie żartował ?

[Macsch15]

Z tego co widzę, z wersji 3.2 na 3.3 w strukturze tabeli reputation_cache nie zmieniło się nic, poza dodaniem kolumny "cache_date".

Nie wiem jak Ty, ale ja bym ją na localhost wywalił skoro to jakiś nowy element

Chyba nie napisałeś w temacie, sprawdzałeś czy na localhoście występuje ten sam błąd?

Szczerze to pierwszy raz widzę takie problemy z reputacją, są fora w których do jednego postu jest < 3000 pkt. reputacji (http://www.minecraftforum.net/topic/75440-v132-risugamis-mods-preliminary-updates/) i nie widać aby jakieś problemy miały.

W pliku initdata.php masz definicje które możesz wypróbować.

Wyłączyć Gzip (przez ACP), IPS_SQL_FIND_SLOW_MODE na wartość 0.3 lub 0.5, IPS_SQL_DEBUG_MODE na true.

Wyniki ich działań będziesz miał w folderze /cache.

Edytowane 29 Sierpnia 2012 przez Macsch15

[Portek]

nie ma czegoś takiego

/etc/php/cli-php5.3

albo

/etc/php/cgi-php5.3

brak fpm

Pokaż więc cgi-php5.3 bo z niego zdajesz się korzystać. Co ja osobiście bym polecał? Przesiadkę na wyżej wspomnianego FPM'a, gdzie nie ma opcji że jeden worker zawiesi serwer.

http://alexcabal.com/installing-apache-mod_fastcgi-php-fpm-on-ubuntu-server-maverick/

http://blog.danguer.com/2011/10/10/installing-php-fpm-and-apache2/

http://zeldor.biz/2011/03/apache2-and-php5-fpm-combination/

http://forum.php.pl/index.php?showtopic=168946

A jeszcze lepiej? Jeśli nie jesteś związany z żadnym panelem (DA/cP) to polecam przesiadkę na nginx'a wspieranego właśnie FPM'em. Raz że obciążenie na maszynie spadnie zdecydowanie, strony ładować się będą szybciej, przyjmiesz więcej zapytań to i takie problemy jak zawieszenie serwera nie będą wchodziły w grę.

[mieciu]

Ja nie administruje serwerem, nie jestem jego wlaścicielem. Natomiast jeżeli zasugeruję, mogę mieć wpływ na pewne rzeczy i udogodnienia. Nowy system na serwerze to nie moja kasa więc odpada.

Troszeczkę zacząłem zmieniać zdanie o chłopakach w IPSie. Ciężko się czasem z nimi dogadać. A jak już nie radzili sobie z przeczytaniem 400mb pliku z logami, to zwątpiłem całkiem. No ale po kilku dniach krótkich odpowiedzi i odbijania piłeczki, już chyba czwarta osoba odpisała mi, że chyba uporała się z problemem. Zmienili odpalanie jednego z tasków odpowiedzialnego za czyszczenie 'małego cache'u' z tabel. Co ciekawe, ten task znajdował się w zakładce CALENDAR (wtf?). Ja tam nie zaglądałem, bo to nie miało z tym nic wspólnego według mnie, ale okazuje się, że takie ogólne zadanie znajduje się w złej kategorii. Mam póki co odczekać1 dzień, żeby się wszystko wyczyściło. Obserwuję teraz wielkość tabeli ibf_reputation_cache i faktycznie powoli spada. Kazali na razie wyłączyć reputację.

[mieciu]

Po długich bojach i dziesiątkach wymienionych mailów, ostateczna odpowiedź od supportu:

Hello Paweł,

The problem appears to be the query used for retrieving the reputation given by specific members when viewing their profile. This particular query is resulting in a temporary table which is not good for performance. Unfortunately to work around this requires a fundamental rewrite to a large section of the reputation system and not something that can be quickly altered. I've submitted a bug report so we can look into improving that but I realise that does not help this situation.

In the meantime, should you wish to use reputation, we can assist with making some changes that should limit the effects of this. The first of which would be to remove the reputation tab from user's profiles so this query is not run. Reputation counts would still be available in the posts and on the profiles but not the more detailed tabs.

Zastanawiam się, czemu tylko ja doświadczam tego problemu...

[angel554]

Zastanawiam się, czemu tylko ja doświadczam tego problemu...

Okazuje się, że nie tylko Ty: http://forum.invisio...-ilosc-zapytan/

Wiadomo już coś bliżej w tej sprawie - IPB działa w kierunku aktualizacji? Jakieś plany na update i czy naprawili na Twoim forum problem?

Edytowane 25 Października 2012 przez angel554

[mieciu]

Wyłączyli tylko zakładkę w profilu. Nie napisali nic więcej.

[mieciu]

Nie wiem, czy w kolejnej 3.4 będzie to poprawione. Może dopiero w 3.4.1

[DawPi]

Ok, ponoć wyszła łatka. Spróbować zawsze można czy pomoże.