IPS UTF8 Converter - "miszcz" prędkości ;)

[Pianocraft]

Coś źle robię czy to zawsze tak wolno idzie?

Jest jakiś sposób na przyspieszenie? Poniżej screen po godzinie pracy konwertera.

Konwersja bazy w wersji 3.4.9 kodowanej w latin2 (ISO8859-2)

Edytowane 31 Stycznia 2022 przez Pianocraft

[DawPi]

To tam często działa w tle. Możesz też to puścić przez CLI jak masz możliwość. 

[SeNioR]

Normalne zachowanie  

[Pianocraft]

27 hours later...

Traktuję to treningowo, skrypt zapuszczony na trial serwerze, baza podpięta z serwera produkcyjnego, co nie pomaga.

 

[Pianocraft]

No i zonk. Stanęło na tabeli ibf_profile_portal  i ani kroku dalej. Zauważyłem, że konwerter to cwaniak, założył dwie tabele w bazie x_utf_ibf_convert_session i x_utf_ibf_convert_session_tables i tam notuje postępy, ale nie bardzo wiem co mógłbym zrobić żeby go oszukać i zmusić do dalszej pracy?

 

edit: a jednak się kręci! tzn. zwiększa się liczba rekordów w tabeli x_utf_ibf_profile_portal ale  tego nie pokazuje.

Edytowane 1 Lutego 2022 przez Pianocraft

[DawPi]

Mówiłem.

[Pianocraft]

Raport z pola walki (może powinienem założyć bloga?  ;P)
Po kolei:
KonwerterUTF8 przegryzł się po ponad 48 godzinach przez bazę (wg niego było to  trochę ponad 21h, niech mu będzie - może jego real time i taki był).
Analiza tabel before/after daje zastanawiające wyniki. Otóż skrypt zmienił metodę porównania napisów z latin2_general_ci na utf8mb4_unicode_ci i plik db.opt w katalogu tej bazy (podejrzałem przez SSH) też z latin2_general_ci na utf8mb4_unicode_ci.
(before:
default-character-set=latin2
default-collation=latin2_general_ci)
(after:
default-character-set=utf8mb4
default-collation=utf8mb4_unicode_ci)

I NIC WIĘCEJ. Zrobiłem test, zamieniając phpMyAdminem collation z latin2_general_ci na utf8mb4_unicode_ci w 5 minut z dokładnie takim samym efektem jak konwerter w 2 dni.

Po podłączeniu tak skonwertowanej bazy do "starego" skryptu (3.4.5), Document character set w ACP: ISO-8859-2 jest tak samo jak przed konwersją, czyli dobrze.
No trochę mnie to zdziwiło, ale idę dalej, zmieniam Document character set w ACP na UTF-8 w i polskie znaki mam wyświetlane w najgorszy sposób, czyli za każdy polski znak wyświetlany jest "?". W tym ustawieniu wpisuję "Zażółć gęślą moją jaźń" oczywiście wyświetla się ok. Po ponownym ustawieniu ISO-8859-2, wszystko, za wyjątkiem "Zażółć gęślą moją jaźń" wygląda dobrze. A ta fraza wygląda jak poniżej.

Cytat

ZaşóĹÄ gÄĹlÄ mojÄ jaĹşĹ

Kolejny raz przestawiam charset w ACP, tym razem na utf8mb4 (!) i wszystko jest dobrze za wyjątkiem "jaźni", która, wpisana przy ustawieniu w ACP UTF-8, wygląda jak przy ISO-8859-2 czyli jak powyżej.

 

Problem jest, bo forum ma z 15 lat, z 1,5M postów, jeszcze więcej PM, statusy i co tam jeszcze. Ciągle brakło czasu, woli i motywacji do zmiany kodowania z ISO-8859-2 na UTF-8. A teraz jest problem. Gdzieś tu wcześniej chyba pisałem, w wersji 2.x.x. IPB polskie znaki zapisywały się w bazie jak... polskie znaki, czyli widać je jako... polskie znaki:

Cytat

Głupich nie sieją, sami się rodzą

Od wersji 3.x.x. czyli od ponad 10 lat, zapisują w encjach (?), czyli wygląda to tak:

 

G&#322;upich nie siej&#261;</em>, <em>sami si&#281; rodz&#261;

-tylko dlaczego encje źle się wyświetlają  przy ustawieniu charsetów na UTF-8?

W tej chwili mam charsety w ACP ustawione na utf8mb4, w źródle strony widać to tak

<meta charset="utf8mb4" />

i jest dobrze, i zawartość lang strony wyświetlają się prawidłowo.
Czy może mi ktoś powiedzieć jak mam kodowaną bazę? i jak się będzie wyświetlać po upgrade w nowej wersji forum 4.6.10?

Zgłupiałem, nie wiem, nie znam się, help!

 

Idę puścić upgradera, miałem nadzieję, że odśmiecę FTP-a, nagrywając do katalogu produkcyjnego tylko nowe pliki (zn. z 4.6.10) i katalog /uploads, ale czegoś jeszcze potrzebuje do życia, bo dostaję blank screena. Może powalczę z tym po udanym upgrade...

 

[DawPi]

58 minut temu, Pianocraft napisał:

Czy może mi ktoś powiedzieć jak mam kodowaną bazę? i jak się będzie wyświetlać po upgrade w nowej wersji forum 4.6.10?

Pokaż zawartość np. forums_posts czy tam ibf_posts. Jakiś ostatni.

[Pianocraft]

<p>Trzeba tam gdzie&#347; w kodzie do&#322;o&#380;y&#263;&#160;</p>

A wygląda to tak:

Trzeba tam gdzieś w kodzie dołożyć 

 

[Pianocraft]

Ok, przeczołgałem się przez upgrade, skrypt na początku stwierdził, że 205 tablic, 86 jest źle kodowanych i nie mając sposobu na obejście, przeczekałem godzinę (szybki serwer :P ) i wreszcie uruchomił się upgrader. Przeceniłem szybkość serwera i na kolejne pytanie Automatycznie czy Ręcznie /zmiany w MySQL/ odpowiedziałem źle, czyli Automatycznie i dostałem 503 ? Potem jeszcze z 50 ręcznych zapytań via phpMyAdmin i po 3 godzinach dostałem to com chciał. Z polskimi znakami, kodowanie (UTF-8!)Teraz skrypt mieli jakieś indexy, archiwa i jeszcze masę rzeczy, o które bym go nie posądzał.

Póki co z błędów mam:

1. cytaty nie wyglądają jak cytaty,
2. załączników brak, niektóre są wypisane numerem i nazwą pliku np: [attachment=34691:xxxxxxxxxxxxxxxxxx.png]

a po niektórych nie ma śladu, jakby ich nigdy nie było,

 

Da się to jakoś przebudować, samo się przeindeksuje, czy once again?

 

cdn...

 

 

Edytowane 24 Lutego 2022 przez Pianocraft
dopisanie tekstu

[DawPi]

15 godzin temu, Pianocraft napisał:

• cytaty nie wyglądają jak cytaty,
• załączników brak, niektóre są wypisane numerem i nazwą pliku np: [attachment=34691:xxxxxxxxxxxxxxxxxx.png]

Przebuduje się później - na pewno jest na liście zadań w ACP.

Na szczęście ten długi proces jest wykonywany jednokrotnie.

[Pianocraft]

No widzę:

 

Cd... dziwnych recommendations:

 

 

W bazie mam teraz mix, "stare", przekonwertowane tabele są MyISAM, UTF8MB4, a nowe w InnoDB, UTF8, generalnie działa, ale dlaczego skrypt tworzy tabele w InnoDB/UTF8 i każe je konwertować  do UTF8MB4? Nie wiem ?

[Pianocraft]

No i mam problem. Otóż ankiety: i w pytaniu i w opcjach odpowiedzi mam questionmarki zamiast polskich znaków ?

Da się to jakoś reimportować, przebudować od nowa czy na piechotę trzeba poprawiać?  ponad 500 ankiet ?

 

Btw, z tymi ankietami to zawsze był jakiś problem, a to e tajemniczy sposób znikały, a to nie zgadzały się głosy, a próba "poprawienia" wyników kończyła się zwykle  zniknięciem ankiety...

Edytowane 3 Marca 2022 przez Pianocraft

[DawPi]

A jak w bazie wyglądają ankiety? Też pytajniki?

Z tego co pamiętam to były z tym problemy bo dane były jsonowane, a nie normalnie zapisywane.

[Pianocraft]

Teraz, po konwersji, są pytajniki, czyli klapa, przed konwersją było dobrze, ale nie sprawdzałem czy w encjach czy inaczej. Potem zajrzę i dam znać.