phpBB Przemo vs IPB 3.x vs vB 4.x

[miszko]

Witam wszystkim I'm new

Rozważam przejście z jednym ze swoich serwisów na płatny skrypt.

Pod lupę oczywiście weszły dwa skrypty, vB i IPB. Zrobiłem pewne testy z wykorzystaniem apachoweskiego benchmarka.

Założenia:

- liczba połączeń 10 000

- czas do testu 200s

- liczba połączeń konkurujących 200

Moje stare forum, rozbudowane działy i dużo postów, brak ad'sów.

Finished 6593 requests

Server Software: Apache/2.2.14

Server Hostname: WYCIĘTE

Server Port: 80

Document Path: /

Document Length: 78145 bytes

Concurrency Level: 200

Time taken for tests: 200.001 seconds

Complete requests: 6593

Failed requests: 307

(Connect: 0, Receive: 0, Length: 307, Exceptions: 0)

Write errors: 0

Non-2xx responses: 12

Total transferred: 518469094 bytes

HTML transferred: 514078892 bytes

Requests per second: 32.96 [#/sec] (mean)

Time per request: 6067.084 [ms] (mean)

Time per request: 30.335 [ms] (mean, across all concurrent requests)

Transfer rate: 2531.57 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 6 36.5 0 294

Processing: 1441 5971 555.4 6015 7201

Waiting: 0 5856 556.1 5895 7059

Total: 1449 5977 547.1 6016 7279

Percentage of the requests served within a certain time (ms)

50% 6016

66% 6148

75% 6245

80% 6307

90% 6479

95% 6630

98% 6808

99% 6918

100% 7279 (longest request)

Oraz dwa prawie czyste fora. Test polegał na ładowaniu strony z listą tematów. Nic poza tym.

IPB wersja 3.1.0, utworzony 1 dział, 3 tematy, około 10 postów, włączona galeria z 5 fotkami, włączony portal, włączony blog, włączony download z 2 plikami.

vB 4.0.8, utworzony 1 dział, 3 tematy, około 9 postów, włączony blog, włączony CMS, brak dodatkowych modów

Patrząc na obciążenie IPB jest bardziej obciążony na starcie, gdyż ma już więcej włączony rzeczy. vB docelowo miałoby również Download, Galerię i inne dodatki.

Wyniki

IPB v3.1.0

Finished 24986 requests

Server Software: Apache/2.2.14

Server Hostname: WYCIĘTE

Server Port: 80

Document Path: /ipb/forum/2-a-test-forum/

Document Length: 36824 bytes

Concurrency Level: 200

Time taken for tests: 200.006 seconds

Complete requests: 24986

Failed requests: 98

(Connect: 0, Receive: 0, Length: 98, Exceptions: 0)

Write errors: 0

Total transferred: 931063455 bytes

HTML transferred: 920489724 bytes

Requests per second: 124.93 [#/sec] (mean)

Time per request: 1600.944 [ms] (mean)

Time per request: 8.005 [ms] (mean, across all concurrent requests)

Transfer rate: 4546.07 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 2 87.0 0 8999

Processing: 129 1592 194.1 1593 6901

Waiting: 118 1508 189.1 1507 6788

Total: 134 1594 212.7 1593 10560

Percentage of the requests served within a certain time (ms)

50% 1593

66% 1622

75% 1641

80% 1652

90% 1684

95% 1714

98% 1752

99% 1793

100% 10560 (longest request)

vB v4.0.8

Finished 36669 requests

Server Software: Apache/2.2.14

Server Hostname: WYCIĘTE

Server Port: 80

Document Path: /vb/forums/2-Main-Forum/

Document Length: 35240 bytes

Concurrency Level: 200

Time taken for tests: 200.001 seconds

Complete requests: 36669

Failed requests: 0

Write errors: 0

Total transferred: 1312231500 bytes

HTML transferred: 1292427000 bytes

Requests per second: 183.34 [#/sec] (mean)

Time per request: 1090.847 [ms] (mean)

Time per request: 5.454 [ms] (mean, across all concurrent requests)

Transfer rate: 6407.34 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 2 73.4 0 3006

Processing: 111 1086 228.0 1082 7639

Waiting: 102 1056 225.6 1053 7632

Total: 119 1088 239.0 1082 7645

Percentage of the requests served within a certain time (ms)

50% 1082

66% 1107

75% 1123

80% 1134

90% 1162

95% 1187

98% 1217

99% 1242

100% 7645 (longest request)

Serwer do testów to praktycznie do wykorzystania cała maszyna: 16x Intel® Xeon® CPU L5520 @ 2.27GHz, 24GB RAM, Dyski SAS.

Wynika z tego, że forma obsłużyły:

-> phpBB2 by Przemo (z żyjącym forum) prawie 6600 żądań

-> IPB 24986 żądań

-> vB 36669 żądań

phpBB odbiega mocno, gdyż forum jest duże i od 2003 roku istnieje.

Chciałbym usłyszeć Wasze komentarze. Znajomy kupił na dniach licencję na IPB, chwali sobie za 2-3 tyg. będzie przechodził z Przemo na IPka, ja również chce coś nabyć, ale stoję jeszcze przed wyborem.

Na plus IPB - ciut mniej "naładowane na ekranie", fajne spięcia z blogiem/download/galerią, dużo modów/skinów za darmo (chyba, że się mylę - proszę o uświadomienie), dużo w ajaxie rzeczy zrobionych (na plus!). Duży minus z mojej strony za niepełną obsługę Opery, widać błędy np. tutaj przy listach tematów, gdzie ładują się te malutkie ikonki z akcjami (np. przypomnij itd.). Na v3.1.4 tak samo. Tutaj na forum również zauważam pewien bug, gdy najeżdżam na temat ikona kursora nie zmienia się na tą zachęty ("łapka") tylko pozostaje ta sama.

Na plus vB - może więcej naćkane na ekranie, ale za to dużo funkcji pod ręką, forum w wyglądzie prostsze, ale fajne. Minus za to, że jak już lepszy mod to cena duża (np. vbSEO 150$).

Pytania!

-> Kiedy jest planowana wersja 3.2? Mają podobnież wejść tam prefixy przed tematami, na czym mi też zależy.

-> Czy istnieje modyfikacja jak "Garaż"/"Nasze auta" pozwalająca wgrywać zdjęcia swoich aut, opisywać je, oceniać (pod vB jest, cena 95$)

-> Czy istnieje kalendarz z dodawaniem wydarzeń i wskazywaniem na mapie Google? Dodajemy event, wskazujemy na mapie, opisujemy.

-> Czy jest jakiś mod powiadamiający od odpowiedz na temat poprzez komunikator (np. wysyła na GG informację)?

-> ... pomyślę co jeszcze

Edytowane 14 Kwietnia 2011 przez miszko

[miszko]

(Jakiś timeout macie i nie mogę już poprzedniego tematu edytować.)

Dodam jeszcze jeden test. Test polegał na załadowaniu wybranego tematu, w temacie są 3 posty. Trochę linijek tekstu i jeden quote.

IPB - Finished 18740 requests

vB - Finished 26028 requests

Edytowane 14 Kwietnia 2011 przez miszko

[DawPi]

Witamy,

wejście smoka normalnie. Szkoda, że tak rzadko spotykane.. To może od razu przejdę do odpowiedzi.

-> Kiedy jest planowana wersja 3.2? Mają podobnież wejść tam prefixy przed tematami, na czym mi też zależy.

-> Czy istnieje modyfikacja jak "Garaż"/"Nasze auta" pozwalająca wgrywać zdjęcia swoich aut, opisywać je, oceniać (pod vB jest, cena 95$)

-> Czy istnieje kalendarz z dodawaniem wydarzeń i wskazywaniem na mapie Google? Dodajemy event, wskazujemy na mapie, opisujemy.

-> Czy jest jakiś mod powiadamiający od odpowiedz na temat poprzez komunikator (np. wysyła na GG informację)?

-> ... pomyślę co jeszcze

Ad 1 - tego chyba nawet IPS nie wie. Tak, będą prefiksy.

Ad 2 - http://www.devfuse.com/products/62-garage-system/ (35$)

Ad 3 - to chyba będzie na 3.2.

Ad 4 - jaki komunikator? GG na pewno nie ma.

[Pavulon]

Powiadomień na GG nie ma. Ale nie znaczy to, że nie da się ich zrobić.

Poprzedni protokół GG był dość łatwy w obsłudze, ale i nowe GG dało by się na pewno opanować.

A co do 3.2 proponuje śledzić blog http://community.invisionpower.com/blog/1174-ips-company-blog/page__tag__3.2 i temat http://community.invisionpower.com/topic/331533-whats-new-in-ipboard-320-so-far/

[miszko]

Dzięki za odpowiedź.

Chciałbym też usłyszeć o Waszym zdaniu nt. wydajności w konfrontacji z przeprowadzonymi testami.

Duzi gracze jak np. Nvidia korzystają z IPB, ale znam równie duże fora które działają w oparciu o vB.

Wybór raczej padnie z obiektywnych odczuć niż z możliwości - te testy wykonałem dla ciekawości

A patrząc na przeszłość co jaki czas pojawia się nowa wersja?

Czy jeżeli wykupię teraz to jest szansa, że załapię się jeszcze na bezpłatny upgrade do nowszej wersji?

Wiem, wiem - pytanie z serii "a skąd mamy wiedzieć", ale może coś wiecie

Co do GG, to można zrobić port z Przema. Tam po pewnych zmianach nadal protokół chodzi. Sam nawet te zmiany robiłem i działa ok.

Edytowane 14 Kwietnia 2011 przez miszko

[DawPi]

Hm, bierz w ciemno IP.Board. W sumie to jak piszesz, że wybór obiektywny to śmiało.

A nowe wersje - ciężko napisać - co kilka miesięcy na pewno.

[Gość Lesny]

Weź vBulletin 4 i styl IP Board.

[DawPi]

Weź vBulletin 4 i styl IP Board.

A Ty weź się schowaj z takimi radami.

[Amfidiusz]

Panowie, jeśli chcecie decydować obiektywnie, to musielibyście wziąć vB, bo wygrywa w tych testach. Spójrzcie na to lepiej subiektywnie i zdecydujcie się na IPB. Taki mały OT

[miszko]

Wszystkiego się mieć nie da

vB może wygrywa i do dosyć znacznie, ale pewnie też dlatego, że jest mało obciążony. W testowanym IPB działał download, galeria, coś tam było jeszcze wrzucane. Więc z pewnością ciut większe obciążenie było.

Zrobię ponownie testy z całkowicie czystymi skryptami zaraz po instalacji.

A nadal nie usłyszałem o problemach pod Opera. Czy te problemy z kursorem dotyczą tylko konkretnego stylu czy IPB?

Jeżeli stylu to się przerobi, jak IPB też się przerobi, ale ciut więcej grzebania

[DawPi]

Sprawdź w trackerze, bo możliwe, że zostało to zgłoszone i poprawione.

[miszko]

Nie znalazłem, ale widzę, że to sprawa skórki niż skryptu.

Na innych skórkach jest ok.

Wybór raczej padnie na IPB, mam grono zaufanych użytkowników i wszyscy prawie jednoznacznie oceniają wyższość IPB.

Mam pytanie. Chcę wziąć pełen pakiet IPB z tym, że chciałbym rozrzucić podserwisy na subdomeny.

Np. Dowload na download.moja_domena.pl, Blog na blog.moja_domena.pl i tak dalej?

Jak to się będzie miało do tego, że jeżeli jakiś post na forum wypromuję do roli artykułu/wpisu na blogu to czy nie będzie problemów z linkowaniem?

Czy taki myk z subdomenami jest możliowy?

[DawPi]

Czy taki myk z subdomenami jest możliowy?

Nie jest. Nikt tego nie zrobił. Jakbyś się uparł to może, by się udało, ale czy gra jest warta świeczki?

[miszko]

Z drugiej strony jakby dobrze ReWrite napisać, może by się udało Tylko samo forum powinno umieć też to obsługiwać.

Pewnie trochę pracy będzie, więc zostanę przy tym co jest i z czasem się pomyśli.

Dzisiaj jak mi starczy czasy zrobię testy. VB i IPB obciążę bazą postów na podstawie referencyjnego forum działającego na Przemo i podam wyniki. Tak tylko dla ciekawości.

[DawPi]

Będę niezwykle wdzięczny. Może jakiś większy tekst napiszesz? To się to odpowiednio wypromuje.

[miszko]

Po walkach wgrałem bazy. Referencyjna baza była ta sama, baza phpBB2 by Przemo (nie trzeba robić konwersji do zwykłej wersji).

Obydwa skrypty mają dosyć dobrze rozbudowane konwertery.

IPB ciut dłużej wykonywał konwersję, ale z miejsca synchronizował forum i posty.

vB samą konwersję wykonał w 3 minuty z tym, że dużo czasu poszło na późniejszą synchronizację.

Zwycięży nie wybieram, gdyż obydwa skrypty mają dobre konwertery i podobne wyniki.

Na test poszedł temat z 3800 postami.

Na stronę było ładowanych 20 postów.

Założenia testu te same co w 1 poście.

Skrypty były wyczyszczone.

IPB

Finished 11330 requests

Server Software: Apache/2.2.14

Server Hostname: ...

Server Port: 80

Document Path: /

Document Length: 232470 bytes

Concurrency Level: 200

Time taken for tests: 200.016 seconds

Complete requests: 11330

Failed requests: 81

(Connect: 0, Receive: 0, Length: 81, Exceptions: 0)

Write errors: 0

Total transferred: 2643756992 bytes

HTML transferred: 2636907372 bytes

Requests per second: 56.65 [#/sec] (mean)

Time per request: 3530.733 [ms] (mean)

Time per request: 17.654 [ms] (mean, across all concurrent requests)

Transfer rate: 12907.93 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 1 48.7 0 3001

Processing: 269 3498 372.8 3491 8985

Waiting: 249 3328 363.3 3319 8844

Total: 278 3499 377.1 3491 8994

Percentage of the requests served within a certain time (ms)

50% 3491

66% 3551

75% 3589

80% 3616

90% 3686

95% 3765

98% 3887

99% 4057

100% 8994 (longest request)

VB

Finished 13148 requests

Server Software: Apache/2.2.14

Server Hostname: ...

Server Port: 80

Document Path: /

Document Length: 107265 bytes

Concurrency Level: 200

Time taken for tests: 200.003 seconds

Complete requests: 13148

Failed requests: 0

Write errors: 0

Total transferred: 1416617559 bytes

HTML transferred: 1410856545 bytes

Requests per second: 65.74 [#/sec] (mean)

Time per request: 3042.328 [ms] (mean)

Time per request: 15.212 [ms] (mean, across all concurrent requests)

Transfer rate: 6916.99 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 2 21.8 0 249

Processing: 1549 3017 246.4 3017 4309

Waiting: 1499 2938 241.8 2940 4230

Total: 1558 3019 248.2 3017 4558

Percentage of the requests served within a certain time (ms)

50% 3017

66% 3080

75% 3122

80% 3148

90% 3233

95% 3340

98% 3706

99% 3950

100% 4558 (longest request)

phpBB przemo

Finished 8383 requests

Server Software: Apache/2.2.14

Server Hostname: ...

Server Port: 80

Document Path: /

Document Length: 147657 bytes

Concurrency Level: 200

Time taken for tests: 200.132 seconds

Complete requests: 8383

Failed requests: 0

Write errors: 0

Total transferred: 1243697238 bytes

HTML transferred: 1238989887 bytes

Requests per second: 41.89 [#/sec] (mean)

Time per request: 4774.721 [ms] (mean)

Time per request: 23.874 [ms] (mean, across all concurrent requests)

Transfer rate: 6068.72 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 3 48.5 0 2993

Processing: 1618 4719 659.2 4698 6804

Waiting: 1515 4483 652.5 4460 6619

Total: 1709 4721 658.8 4698 7997

Percentage of the requests served within a certain time (ms)

50% 4698

66% 4915

75% 5093

80% 5224

90% 5661

95% 5891

98% 6068

99% 6174

100% 7997 (longest request)

Proszę pamiętać, że założenia są dosyć duże.

Zakładamy, że utworzymy po 200 połączeń i każde z nich żądać będzie odsłony do 10 000 stron.

-> IPB 11330 wywołań obsłużonych

-> VB 13148 wywołań obsłużonych

-> phpBB by Przemo 8383 wywołań obsłużonych

Edytowane 15 Kwietnia 2011 przez miszko

[DawPi]

Co to za skrypt do testów używasz?

[Macsch15]

Pewnie coś w stylu http://www.google.pl/search?hl=pl&source=hp&biw=1680&bih=896&q=apache+benchmark&aq=0&aqi=g1g-s1g2&aql=&oq=apache+bench

[miszko]

Tak. AB robiłem testy. Te testy miały na zasadzie sprawdzenie obciążenia dla pojedyńczego wywołania.

W IPB dużo jest oparte o Ajax i część rzeczy nie wymaga przeładowania strony, aby ją wykonać.

Stąd pewnie zaawansowane testy z różnymi scenariuszami rozwiązałyby kwestię co jest szybsze.

Mówię, to musi być naprawdę duże forum, aby aż tak obciążyć.

Edytowane 15 Kwietnia 2011 przez miszko

[miszko]

Nowe informacje. Dzisiaj zrobiłem kolejne testy.

Do IPB doinstalowany został IP.SEO. Reszta bez zmian w związku z linkami do tematów/postów.

Do vB został doinstalowany vbSEO.

I teraz najciekawsze wyniki!

Po tych zmianach VB spadł z wydajnością.

Dzisiaj serwer testowy był ciut bardziej obciążony i zrobiłem testy od nowa.

IPB bez IP.SEO i VB bez vbSEO wyniki miały zbliżone (około 11 tys. obsłużonych żądań).

Tak więc 11 tys. trzeba uznać za referencyjną jednostkę do porównania.

Za to ciekawsze są wyniki po dodaniu modyfikacji.

IPB z modem

Finished 11273 requests

Server Software: Apache/2.2.14

Server Hostname: ...

Server Port: 80

Document Path: /

Document Length: 155240 bytes

Concurrency Level: 200

Time taken for tests: 200.024 seconds

Complete requests: 11273

Failed requests: 38

(Connect: 0, Receive: 0, Length: 38, Exceptions: 0)

Write errors: 0

Total transferred: 1758227122 bytes

HTML transferred: 1751417756 bytes

Requests per second: 56.36 [#/sec] (mean)

Time per request: 3548.720 [ms] (mean)

Time per request: 17.744 [ms] (mean, across all concurrent requests)

Transfer rate: 8584.08 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 3 97.8 0 3001

Processing: 192 3513 517.9 3507 10660

Waiting: 179 3343 506.9 3332 10485

Total: 200 3517 529.4 3507 10668

Percentage of the requests served within a certain time (ms)

50% 3507

66% 3579

75% 3626

80% 3655

90% 3733

95% 3797

98% 3876

99% 3991

100% 10668 (longest request)

vB z vbSEO

Finished 7783 requests

Server Software: Apache/2.2.14

Server Hostname: ...

Server Port: 80

Document Path: /

Document Length: 89217 bytes

Concurrency Level: 200

Time taken for tests: 200.014 seconds

Complete requests: 7783

Failed requests: 0

Write errors: 0

Total transferred: 699335365 bytes

HTML transferred: 694911213 bytes

Requests per second: 38.91 [#/sec] (mean)

Time per request: 5139.764 [ms] (mean)

Time per request: 25.699 [ms] (mean, across all concurrent requests)

Transfer rate: 3414.49 [Kbytes/sec] received

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 3 50.6 0 3000

Processing: 1198 5069 407.5 5088 7071

Waiting: 1146 4930 398.3 4947 6938

Total: 1232 5073 404.5 5088 8224

Percentage of the requests served within a certain time (ms)

50% 5088

66% 5176

75% 5235

80% 5269

90% 5375

95% 5461

98% 5623

99% 5885

100% 8224 (longest request)

Czyli... IPB bez zmian, ale za to VB spadło i to muszę przyznać dużo.

Po szybkim przejrzeniu vbSEO jest rozbudowane, ma dużo rzeczy, ale to właśnie jest jego zgubą.

Za to przy zastosowaniu podstawowych procedur w VB do generowania przyjaznych linków (prosty mod znaleziony na ich stronie polegający na włączeniu MODREWRITE w CP i dopisaniu reguł do .htaccess) nie ustępuje wydajnością IPB.

Testy wykonałem po dwa razy.

Decyzja zapadła... dam znać jak serwis wystartuje, ale chyba domyślacie się mojego wyboru

Edytowane 17 Kwietnia 2011 przez miszko

[Łukasz]

Oczywiście ze ip.board

Mam racje ?

[RafalP]

Wydajność wydajnością, ale jest jeszcze jedna strona medalu.

Trzy-cztery lata temu zastanawiałbym się czy wziąć vB czy IPB. W międzyczasie jednak Internet Brands zrobiło świetną robotę obracając vB do góry nogami, wyrzucając przez okno plany dla wersji 4.0, sprawiając że ludzie którzy się znali i robili vB od lat odeszli i dając innym przykład jak nie rozwijać komercyjnego oprogramowania.

Nie uśmiecha mi się płacić 250$ za kod rozwijany przez ludzi którzy pchają kolejne bajerki a o 1500 niepoprawionych bugach mówią że "teraz priorytetem jest implementowanie nowych funkcji". A jakość testów jest piękna. CMS którym tak się zachwycali potrafił bazie danych przyłożyć od 50 do 300 zapytań. Dopiero krzyk na forach publicznych sprawił że przestali gadać "to nie będzie problemem w środowiskach produkcyjnych" i zaczęli optymalizować.