Przerabianie bazy kodowanej w latin1 na utf8

**matma4u** · 10 Lipca 2009

Aby przerobić bazę z kodowania latin1 na utf8 należy:

- wykonać kopię zapasową bazy

- za pomocą edytora tekstu (lub innych narzędzi korzystając z poleceń konsoli Linuksa) należy podmienić wszystkie wpisy:

collate latin1_general_ci na collate utf8_general_ci

CHARSET=latin1 na CHARSET=utf8

COLLATE=latin1_general_ci na COLLATE=utf8_general_ci

- uruchomić plik konwerter.php

Zawartość pliku konwerter.php

    <?php
              $krzaki = array('¡', 'Æ', 'Ê', '£', 'Ñ', 'Ó', '¦', '¯', '¬', '±', 'æ', 'ê', '³', 'ñ', 'ó', '¶', '¿', '¼');
              $ogonki = array( 'Ä„', 'Ä†', 'Ä˜', 'Å', 'Åƒ', 'Ã“', 'Åš', 'Å»', 'Å¹', 'Ä…', 'Ä‡', 'Ä™', 'Å‚', 'Å„', 'Ã³', 'Å›', 'Å¼', 'Åº');

               $file = "nowyplikbazy.sql";   
               $test = file_exists($file);
               if ($test)
                {
                echo "Skasuj plik nowyplikbazy.sql na serwerze i ponownie uruchom skrypt konwerter.php";
                }
                else
                {
               $fp = @fopen("plikbazy.sql", "r");
               if ($fp) {
                     while (!feof($fp)) {
                     $buffer = fgets($fp, 4096);
                     $buffer =  str_replace( $krzaki, $ogonki, $buffer );
                     flock($fp, 2);
                     $fp2 = fopen($file, "a");
                     fputs($fp2, $buffer); 
                     flock($fp, 3); 
                                        }
                        }
                                    fclose  ($fp);
                        fclose  ($fp2);
                        echo "Koniec konwersji";
                         }

            ?>

Objaśnienia:

plikbazy.sql - to plik bazy, który trzeba przekonwertować (musi znajdować się w tym samym katalogu co plik konwerter.php)

nowyplikbazy.sql - plik o tej nazwie zostaje automatycznie utworzony i w nim znajduję się przekonwertowana zawartość pliku plikbazy.sql

- stworzyć nową pustą bazę pamiętając o tym by była kodowana w UTF-8

- do tak przygotowanej bazy wgrać przetworzony plik bazy

- podłączyć skrypt forum pod nową bazę (zmienić wpisy dotyczące bazy danych w pliku conf_global.php)

Autorem tutoriala jest matma4u. Zabrania się kopiowania i rozpowszechniania bez zgody autora.

**necik** · 12 Lipca 2009

Czy ktoś testował powyższy skrypt na większej bazie danych (np. 1 GB)?

**matma4u** · 12 Lipca 2009

Powiem Ci tak, że skrypt w zasadzie można dostosować do każdego kodowania. Robisz to tak, że na oryginalnej bazie np w latin1 tworzysz temat a w treści wpisujesz tylko i wyłącznie polskie ogonki tzn: ą, ę, ć, ó Ą Ę itd (duże i małe litery). Następnie w bazie szukasz tego tematu i sprawdzasz jak te ogonki są zakodowane i wpisujesz te znaki do tablicy $krzaki.

Potem sprawdzasz np jak te same ogonki (wpisujesz w takiej samej kolejności jak w bazie latin1) ą, ę, ć, ó Ą Ę itd kodowane są np. w utf8 i wpisujesz to do tablicy $ogonki.

Robisz konwersje i po sprawie. Musisz jeszcze potem lub przed zmienić collate_ i charset.

Co do testów to tak ostatnio przerobiliśmy bazę około 30MB na utf8 i wszystko pięknie działa. Ja testowałem ten skrypt na swojej bazie około 100MB i skrypt też nie robił problemów. (z latin2 na utf 8)

DawPi · 12 Lipca 2009

W tym skrypcie warto też tuż za <?php wstawić ten kod:

set_time_limit(0);

Czyli ma to wyglądać:

<?php
set_time_limit(0);
//dalsza część kodu

**necik** · 12 Lipca 2009

- za pomocą edytora tekstu (lub innych narzędzi korzystając z poleceń konsoli Linuksa) należy podmienić wszystkie wpisy:

collate latin1_general_ci na collate utf8_general_ci

CHARSET=latin1 na CHARSET=utf8

COLLATE=latin1_general_ci na COLLATE=utf8_general_ci

Tego punktu nie rozumiem. Gdzie te wpisy należy podmienić?

DawPi · 12 Lipca 2009

Mniemam iż w pliku .sql czyli zrzucie bazy danych na HDD.

**Łukasz** · 4 Kwietnia 2010

Wypali również taki skrypt do przerobienia collate_ i charset.

   <?php
              $krzaki = array('collate latin1_general_ci', 'CHARSET=latin1', 'COLLATE=latin1_general_ci');
              $ogonki = array( 'collate utf8_general_ci ', 'CHARSET=utf8 ', 'COLLATE=utf8_general_ci');

               $file = "nowyplikbazy.sql";   
               $test = file_exists($file);
               if ($test)
                {
                echo "Skasuj plik nowyplikbazy.sql na serwerze i ponownie uruchom skrypt konwerter.php";
                }
                else
                {
               $fp = @fopen("plikbazy.sql", "r");
               if ($fp) {
                     while (!feof($fp)) {
                     $buffer = fgets($fp, 4096);
                     $buffer =  str_replace( $krzaki, $ogonki, $buffer );
                     flock($fp, 2);
                     $fp2 = fopen($file, "a");
                     fputs($fp2, $buffer); 
                     flock($fp, 3); 
                                        }
                        }
                                    fclose  ($fp);
                        fclose  ($fp2);
                        echo "Koniec konwersji";
                         }

            ?>

Edytowane 4 Kwietnia 2010 przez Łukasz

**matma4u** · 6 Czerwca 2010

Dziś postanowiłem powrócić ponownie do tego tematu. Przemyślałem sobie dobrze sprawę i doszedłem do wniosku że cały proces można jeszcze bardziej uprościć.

<?php

               $file = "nowyplikbazy.sql";   
               $test = file_exists($file);
               if ($test)
                {
                echo "Skasuj plik nowyplikbazy.sql na serwerze i ponownie uruchom skrypt konwerter.php";
                }
                else
                {
               $fp = @fopen("plikbazy.sql", "r");
               if ($fp) {
                     while (!feof($fp)) {
                     $buffer = fgets($fp, 4096);
                     $buffer =  iconv("ISO-8859-2","UTF-8",$buffer);
                     flock($fp, 2);
                     $fp2 = fopen($file, "a");
                     fputs($fp2, $buffer); 
                     flock($fp, 3); 
                                        }
                        }
                                    fclose  ($fp);
                        fclose  ($fp2);
                        echo "Koniec konwersji";
                         }

            ?>

Całą robotę wykonuje tu polecenie php: iconv("ISO-8859-2","UTF-8",$buffer);, za pomocą którego możemy z dowolnie przekodowywać tekst.

Oczywiście przed użyciem konwertera należy wykonać wszystkie wcześniejsze kroki.

Edytowane 6 Czerwca 2010 przez matma4u

3 Sierpnia 2010

Chce przerobić baze w IPB 3, te skrypty co podane tutaj bedą pasować ??

I jeśli dobrze zrozumialem to najpierw skrypt Łukasza:

    <?php
              $krzaki = array('collate latin1_general_ci', 'CHARSET=latin1', 'COLLATE=latin1_general_ci');
              $ogonki = array( 'collate utf8_general_ci ', 'CHARSET=utf8 ', 'COLLATE=utf8_general_ci');

               $file = "nowyplikbazy.sql";   
               $test = file_exists($file);
               if ($test)
                {
                echo "Skasuj plik nowyplikbazy.sql na serwerze i ponownie uruchom skrypt konwerter.php";
                }
                else
                {
               $fp = @fopen("plikbazy.sql", "r");
               if ($fp) {
                     while (!feof($fp)) {
                     $buffer = fgets($fp, 4096);
                     $buffer =  str_replace( $krzaki, $ogonki, $buffer );
                     flock($fp, 2);
                     $fp2 = fopen($file, "a");
                     fputs($fp2, $buffer); 
                     flock($fp, 3); 
                                        }
                        }
                                    fclose  ($fp);
                        fclose  ($fp2);
                        echo "Koniec konwersji";
                         }

            ?>

potem matmy4u

<?php

               $file = "nowyplikbazy.sql";   
               $test = file_exists($file);
               if ($test)
                {
                echo "Skasuj plik nowyplikbazy.sql na serwerze i ponownie uruchom skrypt konwerter.php";
                }
                else
                {
               $fp = @fopen("plikbazy.sql", "r");
               if ($fp) {
                     while (!feof($fp)) {
                     $buffer = fgets($fp, 4096);
                     $buffer =  iconv("ISO-8859-2","UTF-8",$buffer);
                     flock($fp, 2);
                     $fp2 = fopen($file, "a");
                     fputs($fp2, $buffer); 
                     flock($fp, 3); 
                                        }
                        }
                                    fclose  ($fp);
                        fclose  ($fp2);
                        echo "Koniec konwersji";
                         }

            ?>

Edytowane 3 Sierpnia 2010 przez XQS

DawPi · 3 Sierpnia 2010

Nie testowałem, spróbuj na localu, zawsze to nowe doświadczenie.

2 Września 2010

Zrobiłem konwersje. Ale pojawił sie bład.


Fatal error: Uncaught exception 'Exception' with message 'Could not initiate the registry, the settings cache is empty or missing' in /home/xqs/domains/forum.csns.pl/public_html/admin/sources/base/ipsRegistry.php:1822 Stack trace: #0 /home/xqs/domains/forum.csns.pl/public_html/admin/sources/base/ipsRegistry.php(507): ipsRegistry->setUpSettings() #1 /home/xqs/domains/forum.csns.pl/public_html/admin/sources/base/ipsController.php(77): ipsRegistry::init() #2 /home/xqs/domains/forum.csns.pl/public_html/admin/sources/base/ipsController.php(64): ipsController->init() #3 /home/xqs/domains/forum.csns.pl/public_html/admin/index.php(26): ipsController::run() #4 {main} thrown in /home/xqs/domains/forum.csns.pl/public_html/admin/sources/base/ipsRegistry.php on line 1822

DawPi · 2 Września 2010

XQS: link.

Zaloguj się

Przerabianie bazy kodowanej w latin1 na utf8

Rekomendowane odpowiedzi

matma4u

necik

matma4u

DawPi

necik

DawPi

Łukasz

matma4u

Gość XQS

DawPi

Gość XQS

DawPi

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Zarejestruj nowe konto

Zaloguj się

Ostatnio przeglądający 0 użytkowników

Pliki

Cała aktywność

Przeglądaj

Powiadomienie o plikach cookie