ROZWIĄZANY: poprawienie wydajnosci 3.x / hosting pod 3.x

[owi]

heja,

ostatnio mialem lekką scysję z dhostingiem wskutek czego opuściłem ich dkonto Business po ponad roku i zmienilem hosting. Chcieli abym się przeniósł na VPSa i zacząl płacić ponad 100zl wiecej miesięcznie co bylo niestety nie do przyjęcia. Powodem przenosin miało być obciążenie jakie generują moje serwisy - ipb 3.x z okolo 15-20 tys odslon miesięcznie, smf 2 z dość podobnym wynikiem plus pare zdecydowanie mniejszych usług, które miały może łącznie z 3k.

Cala propozycja była w bardzo niepasującej do dhostingu formie (zero przykładów, checi pomocy - tylko albo sie zgadzasz, albo za 7 dni rozwiążemy umowe), ja to potraktowałem honorowo i bez zbędnych dyskusji, po odczekaniu 2 dnich na ich odpowiedz (której nie otrzymałem) już jestem za oceanem na gridzie w MediaTemple.

.....ale nie sama kwestia dhostingu jest najważniejsza.....

Jestem na tym gridzie od 24h i mam dostęp do szczegółowych statystyk obciążenia i IPB zżera kilkukrotnie więcej jednostek obciążenia (oni nazywają to GPU) niż pozostałe serwisy.

Co prawda z dhostingu nie dostałem żadnych statystyk by porównać, ale wiem ze coś jest nie tak gdyż wielu z was ma znacznie większe fora ode mnie (ja mam szczytowo max 1k odsłon dziennie) a korzystacie z shareda na dhostingu bez żadnych problemów.

---------------------

Mam forum 3.1.1

modyfikacje w zasadzie standardowe, bardzo zbliżony zakres co tu

czas wykonywania skryptu w granicach 0.1-0.2

na stronie głównej 6 zapytań

w zakładce performance praktycznie wszystko ustawione wg zaleceń

Pamięć serwera 7989 MB

Dostępna pamięć serwera 464 MB

wszelkie "checkery" w zakładce zaawansowane mam na zielono, baza zoptymalizowana

--------------

W związku z tym mam pytania:

1. W jaki sposób mogę zdebugowac wydajność forum? Czy są jakieś narzędzia ułatwiające to zadanie inne niz ręczna modyfikacja plików (microtime etc) badz tez pasek debuggera? Czy jest mozliwe wysweitlenie obciazaenia generowanego czy to przez hooki czy aplikacje czy jedyną drogą do sprawdzenia co nawala jest sukcesywne wyłączanie wszystkiego?

pytam ostandardowe funkcje wbudowane w forum bądź wykorzystując istniejące modyfikacje - zalezy mi an czasie gdyż mam go mało, chcę uniknąć "ręcznej" zabawy

2. Czy są jakieś wytyczne ile czasu powinien wykonywać się skrypt? Ile ramu zjadać? TAK WIEM - zależy od hookow i modyfikacji, hostingu, ale chciałbym miec jakis punkt zaczepienia - ze w takiej i takeij sytuacji zzera tyle i tyle. Wtedy wiedziałbym ze aha mam 5 razy więcej,3razy więcej czy polowe mniej... Będę wiedzieć w którym kierunku zmierzać

3. Jakie macie fora i z jakich usług hostingowych korzystacie? W jakim momencie nadal jeszcze siedzicie na sharedzie, a kiedy przeskoczyliscie na vps/dedyka?

4. Czy są jakies znane aplikacje które zrą wiele zasobów? Co z 3.1.1? Powinienem jak najszybciej zmigrowac? Czy pod wzgledem performance 3.1.4 to to samo?

Prosiłbym o przeczytanie dokładnie całości przed odpowiedzią.

Edytowane 26 Stycznia 2011 przez owi

[Macsch15]

A to ci zaskoczenie, chyba pierwszy raz czytam opinie o dH że nie odpowiadają na maile.

Co do hostingu, kiszenie dużych serwisów na hostingu współdzielonym nie jest dobrym pomysłem, i to nie koniecznie zależy od samego dH, na wielu pewnie by się czepiali, bo w końcu inni na tej samej maszynie też muszą mieć jakiś zakres dostępności dla siebie.

IMO lepiej żeby ludzi z dużymi serwisami poprosić o przejście na VPS jakiś niż żeby wszyscy na tym serwerze mieli problemy z szybkościa, a firma skopaną opinię.

Ja tu dla Ciebie widzę VPS'a jakiegoś.

Edytowane 26 Stycznia 2011 przez macsch15

[owi]

@macsch15

troszkę nie na pytania odpowiadasz, ale zahaczasz o wazne kwestie.

Na poczatek kwestia wyjasnienia - jak pisalem zmienilem host na MediaTemple -więc dziękuję za propozycję

rozumiem tez dlaczego shared nie jest odpowiedni dla wszystkich

Ale co to znaczy duzy serwis? Czy ipb z max 300-400 uników/dzien to duzy serwis? Jak to u was wygląda?

ja w to bardzo wątpię zeby, tylu uzytkowników sprawialo problemy oznaczajace koniecznosc emigracji Jezeli moje obciązenie jest nienaturalne (a w suie ciezko stwierdzic nie majac punktu odniesienia) to podejrzewam predzej jakiegos apa, hooka, jakis widget.

Edytowane 26 Stycznia 2011 przez owi

[DawPi]

Napisz, jakie masz modyfikacje poinstalowane. Wszystkie.

[owi]

No to jedziemy;]

aplikacje

System Najnowsza wersja 3.1.1

Forums Najnowsza wersja 3.1.1

Members Najnowsza wersja 3.1.1

Calendar Najnowsza wersja 3.1.1

[off] Portal Najnowsza wersja 3.1.1

[off] Chat Services Najnowsza wersja 3.0.5

IP.Shoutbox Najnowsza wersja 1.1.3

Auto Welcome Members Najnowsza wersja 2.0.0

(e$30) Custom Sidebar Blocks Najnowsza wersja 1.3.0

VIP Members Najnowsza wersja 1.0.0

miniTutorials System Najnowsza wersja 3.0.4

IP.Board Member Map Najnowsza wersja 1.0.0

(e$30) ibEconomy Najnowsza wersja 1.4.0

(DP30) Mass PM Najnowsza wersja 1.0.3

MUDD Najnowsza wersja 2.0.0 Beta 1

hooki

(e$30) ibEconomy in Member's Profiles

(e$30) ibEconomy Member Pane

(e$30) ibEconomy Point Button

(M31) Sidebar Poll

Ad Code Sidebar

Unread Notifications

(IM) Closing Reason as Post

(SOS30) Easy Topic Moderation v1.0.1

(M31) Guest Message

(IM) Members Online Today

(SOS30) Recent Topics

(IM) Profile Statistics Tab

(IM) Global Forum Message

Today's Top Posters

(IM) Group Name Indicator

IP.Shoutbox (Global)

Board Index Watched Content

Status Updates

(e$30) Custom Sidebar Blocks

Edytowane 26 Stycznia 2011 przez owi

[DawPi]

Wyłącz IP.Shoutbox i sprawdź wtedy.

[owi]

mam to zaplanowane na caly jutrzejszy dzien, bo chcialbym widziec to na przekroju calego dnia

jezeli Ci chodzi zas o wyłączenie chwilowe, to niewiele to zmienia w czasie wykonywania skryptu (ktory notabene jest bardzo zblizony do Twego), sprawdzalem to jakis czas temu. Sprobuję zresztą jeszcze raz.

edit:

Sprawdzilem

normalnie strona glowna 0.19 - 0.2

shout app off 0.19 - 0.2

shout hook off 0.19- 0.2

(czasy wykonania skryptu wziete z footera)

Edytowane 26 Stycznia 2011 przez owi

[DawPi]

Jestem na tym gridzie od 24h i mam dostęp do szczegółowych statystyk obciążenia i IPB zżera kilkukrotnie więcej jednostek obciążenia (oni nazywają to GPU) niż pozostałe serwisy.

Możesz uzyskać dokładniejsze informacje - jakie zapytania/pliki to pożerają?

[owi]

To co jest głównym pozeraczem zasobów to jest index.php,a le w sumie jako ze to pewnego rodzaju front controller to nam za wiele nie powie

Inne pliki nawet 1% tego nie generują

edit:

Wyslalem zapytanie do supportu czy daloby rade dostac taki raport rozbity na reuqesty

Edytowane 26 Stycznia 2011 przez owi

[DawPi]

Lol, no index.php bardzo wiele pomaga. Mogłeś tego nie pisać w sumie.

Czekamy na logi..

[owi]

w miedzyczasie wez powiedz jak to u Ciebie wyglada w dhost - jestes juz na vpsie czy ciagle na sharedzie? przy ilu wyswietleniach?

[DawPi]

Ja już mam VPSa na dobrych warunkach - lepsze parametry.. Oraz mam bardzo dużo mocy w zapasie, ale wolę spać spokojniej - a nóż jakieś nowe projekty się otworzy i będzie potrzeba dodatkowej mocy.

[owi]

nie da rady tego rozbic w ich logach wiec trzeba poszukac jakiegos rozwiązania by te parametry get rozbic na urle, tzn wyrznac index.php z urla i parametry zrobic jak w CI czy kohanie param1/param2

omg... friendly urle

Edytowane 26 Stycznia 2011 przez owi

[DawPi]

No skoro nie ma możliwości, to tylko tak, jak pisałeś.. :-)

[owi]

rozbilem to na urle i niestety nie ma zadnej zaleznosci miedzy obciazeniem a tym czy wysweitlana jest glowna, temat, profil czy podforum. Nie ma zadnych wartosci szeczegolnie gorujących nad innymi.

Wiec O ILE obciazenie u mnie jest za duze w porownaniu do innych (wlasnie nie ma zadnego punktu odniesienia to troszke cięzko gdybac) to jest ono generowane na kazdym "przejsciu" aplikacji. Wiec obstawialbym jakiąs funkcjonalnosc ktora jest odpalana niezaleznie od miejsca w ktorym przebywa user.

Masz wlaczony cache dla postów?

moze to skin? clean cut. Zmienie na podstawowego

Edytowane 27 Stycznia 2011 przez owi

[DawPi]

Mam cache włączone..

A powiedz mi - właśnie, jakie parametry ma Twój obecny serwer? Bo wiesz, ja stoję na naprawdę dobrym VPSie, więc to trochę bez porównania.

[owi]

ale widzisz do niedzieli bylem na dhostingu przez ponad rok i w sumie nigdy nie alarmowali o wysokim obciazeniu. Potem Im cos odbilo. Nie odpisuja mi an maile od 4 dni. Jak chcesz to Ci na priv przesle korespondencje z nimi

odnosnie parametrów obecnego to jest grid service wiec to nie jest jako jeden serwer, powiedz dokladnie co Cie interesuje? Dyrektywy phpinfo itp?

to z przegladu systemu:

Wersja v3.1.1 (ID:31004)

MYSQL Wersja MYSQL 5.1.26-rc-5.1.26rc

Wersja PHP 5.2.14 (cgi-fcgi) ( Informacje o PHP )

Wyłączone funkcje PHP Brak informacji

Załadowano rozszerzenia PDO, Reflection, SPL, SQLite, SimpleXML, Zend Optimizer, bcmath, bz2, calendar, cgi-fcgi, ctype, curl, date, dba, dom, exif, filter, ftp, gd, gettext, hash, iconv, imap, json, ldap, libxml, mbstring, mcrypt, mhash, mime_magic, mysql, mysqli, openssl, pcre, pdo_mysql, pdo_pgsql, pdo_sqlite, pgsql, posix, pspell, session, soap, sockets, standard, suhosin, tokenizer, wddx, xml, xmlreader, xmlrpc, xmlwriter, xsl, zlib

Tryb bezpieczny Wyłączony

Oprogramowanie serwera Linux n14 2.6.33.1r46075 #1 SMP Fri Sep 24 13:11:06 PDT 2010 x86_64

Uruchomione procesy na serwerze --

Pamięć serwera 7989 MB

Dostępna pamięć serwera 2358 MB

Edytowane 27 Stycznia 2011 przez owi

[DawPi]

Najpierw ustalmy termin - coś koło tej niedzieli instalowałeś wtedy coś na forum? Zauważyłeś coś dziwnego? Może napisz jeszcze do dH czy w niedzielę nie robili jakichś zmian.. Bo tak to wiesz.. Tak nagle i bez powodu takie jaja się nie dzieją.

[owi]

Nie. W zwiazku z natłokiem obowiązków na forum ine instalowalem appsów, hookow, nie zmienialem konfiguracij od 3-4 mcy...

na priv wysle Ci detale sprawy z dhostem

Edytowane 27 Stycznia 2011 przez owi

[DawPi]

Włącz tryb serwisowy na forum i wtedy sprawdzaj. Owy tryb jakby wyłącza wszystkie modyfikacje, ale bez obaw - potem można je przywrócić bez obaw o utratę ustawień. Jak sprawi to, że pomoże to trzeba będzie wyłączać po kolei modyfikacje i sprawdzać obciążenie.

[owi]

Tak robilem to wczoraj, tylko zauwazylem jedna rzecz - jak powylaczam wszystkie udogodnienia to po prostu spada ilosc ludzi na forum gdyz oni lubia korzystac z shoutboxa, z sidebara i statusów. Poza tym bez modea mowiacego o ostatnich odpowiedziach nie chce im się wchodzic w głędbiej w forum - przyzwyczaily sie lenie.

Wiec boje sie ze spadek obciazenia moze byc osiagniety spadkiem odwiedzin.

Sprobuję to zrobic pod wieczór. Teraz wyłączyłem GZIP i dałem cache postów na 3 dni. Chcę zobaczyc jak zachowają sie wykresy przez najbliższe godizny.

[owi]

Nie mogę już dać edycji dlatego post pod postem:

Troszkę osób czyta ten temat, czy moglby ktoś podzielić się jakimiś danymi?

- ile macie userów / postów

- ile macie wyświetleń dziennie/miesiecznie czy też ilu użytkowników odwiedza forum w ciągu dnia bądz jednoczesnie

- no i gdzie hostujecie forum (firma, czy shared,vps, dedyk)

Chcialbym lapnac jakis puntk zaczepienia, moze szukam dziury w calym i po prostu "ten typ tak ma".

Edytowane 27 Stycznia 2011 przez owi

[owi]

Jeden z testów sie konczy, ale jakies sensowne wyniki i wnioski bede miec po 12.

Powiedz mi DawPi jak mozesz dlaczego forum wpieprza takie ilosci danych do ipb_cache_store?

na stronie głównej:

w momencie gdy jest w trybie performance zapisuje do cache jedynie markery, a gdy jest w normalnym trybie to wwala chyba ze 3 ogromne zapytania w tym cala zserializowana tablice emotikon( a jest ich troszke)... po kij to? I to przy kazdym reloadzie...

na podstronie z tematem:

wszystkie zapytania wydają sie z sensem oprócz "INSERT INTO ibf_core_item_markers_storage", które również wpycha takiego zserializowanego stringa na caly ekran

Edytowane 27 Stycznia 2011 przez owi

[DawPi]

No cóż, to jest cache forum, a zmiana tego raczej nie jest możliwa, bez mnóóóstwa przeróbek. Dziwne, że Tobie to aż tak obciąża system. Owszem, nie jest to lekkie dla serwera, ale jak widać większość sobie z tym radzi.

[owi]

tylko ze wgrywalem uzytkownikom ze trzy paczki koloboka i jest ich z 300-400

ale zeby po kazdym reloadzie zapisywalo cache emotikon? Dla mnei to troszkę bezcelowe, niech je raz zkeszuje a potem tylko odczyt skoro ich zestaw sie nie zmienia...