Konwersja forum IPB z ISO-8859-2 na UTF-8

[makensis]

W związku, że nowe IPB 3.3.1 spłatało figla* użytkownikom o innym kodowaniu niż UTF-8 przedstawiam sposób na szybką i skuteczną konwersję naszego forum do jedynego lubianego systemu kodowania UTF-8.

Kroki:

1. Logujemy się do serwera np. programem Putty
   
2. Zrzucamy bazę danych na serwer(trzeba zadbać o odpowiednią ilość wolnego miejsca) komendą: mysqldump -uuser -ppassword nazwa_bazy_danych > dump.sql
   przy czym -uuser to nie błąd -u[nazwa_uzytkownika]
   
3. Zmieniamy kodowanie tabel na docelowe komendą: perl -pi -w -e 's/CHARSET=latin2/CHARSET=utf8/g;' dump.sql
   
4. Konwertujemy znaki w locie poleceniem: iconv -f iso-8859-2 -t UTF-8 dump.sql > dump-utf8.sql
   
5. Wczytujemy plik do uprzednio stworzonej bazy danych o kodowaniu = tym po konwersji, komenda: mysql --default-character-set=utf8 -uuser -ppassword nowa_baza_danych < dump.sql
   
6. Jeśli wystąpią błędy w trakcie wczytywania jak np. brak inkrementacji to pozostaje nam je naprawić, albo wyczyścić niefrasobliwą tabelę z rekordów poleceniem TRUNCATE tabela_z_problemami . Polecenie te wywołujemy np. z poziomu phpMyAdmin
   
7. Podłączamy bazę danych do pliku konfiguracyjnego naszego forum w pliku conf_global.php
   
8. Po konwersji powinniśmy otrzymać komunikat: FATAL ERROR Your settings could not be read by IP.Board. This is a fatal error and IP.Board cannot function while this issue persists. W tym wypadku ściągamy paczkę forum z IPS-u i wypakujemy zawartość folderu /Tools.
   
9. Wrzucamy na serwer do /admin folder /upgradeFinish
   
10. W przeglądarce wpisujemy adres www naszego forum z końcówką: /admin/upgradeFinish pojawi nam się instalator IPB, który przebuduje zawartość cache forum
    
11. Wchodzimy do panelu ACP i ustawiamy w zakładce System -> Ustawienia -> Server Enviroment kodowanie na takie jakiego dotyczyła konwersja.
    
12. W razie różnego kodowaniem wewnątrz bazy danych czeka nas długa droga do sukcesu. W tym wypadku przyda się EditPad Lite, który radzi sobie z odczytem plików o wielkości nawet kilkunastu gigabajtów. Nie pobiera zbyt wiele pamięci. Ręcznie ustawienie kodowania pliku w EditPad na takie jakie powinno być docelowe i następnie metodą Ctrl+H "kod-znaku-litera" docelowy znak - zamienić wszystkie nie pasujące do reszty znaki specjalne.
    

Jeśli nie mamy dostępu do shell czeka nas nieco dłuższa droga, którą opisałem w tym temacie: konwersja bazy danych

*) w nowym IPB każdy nacjonalny znak zamieniany jest na UNICODE # nr_znaku; zabiera to dodatkowo miejsca i będzie w przyszłości stanowić ogromny problem na przykład wyszukiwarka IPB nie znajduje polskich znaków w kodowaniu innym niż UTF. Mowa tutaj o wersji 3.3.1 i tematach powstałych już na tej wersji..

Edytowane 19 Kwietnia 2012 przez makensis

[Amfidiusz]

Jaki procent użytkowników IP.Board na tym forum ma dostęp do konsoli? Nie lepiej stworzyć poradnik, który pozwoli przeciętnemu administratorowi przeprowadzić zmianę kodowania bez rzucania się na wielkie i niepotrzebne mu maszyny? A na marginesie, taki poradnik już chyba istnieje.

Btw, dział Konwersja dotyczy konwersji forów z innych skryptów do IP.Board

[makensis]

W linku jest poradnik do wszystkich, wiadomo małe fora = mały problem, a duże to już bez konsoli się raczej nie obędzie. Ewentualnie można zrobić tak:

1. prośba do hostingodawcy o zrzut bazy w SQL
   
2. upload na localhost
   
3. konwersja z konsoli na localu (ewentualnie gżegżółka i editpad lite)
   
4. upload na serwer
   
5. prośba do hostingodawcy o wczytanie pliku do nowej bazy danych
   

Niestety nie widzę możliwości dalej działania na forach z innym kodowaniem jak UTF skoro nowe IPB zapisuje znaki w unicode. Jeden znak specjalny zajmuje 5 zwykłych, poza tym nie jest czytelny przez wyszukiwarkę, bo musiałaby ona dać dwa zapytania - jedno w kodowaniu domyślnym, a drugie w unicode. Masakra

[Amfidiusz]

99% forów to fora małe. A ci, którym się udało i radzą sobie z konsolą, raczej nie potrzebują takich poradników

No i dlaczego odnośnik do jakiegoś obcego portalu, skoro na forum temat był wałkowany setki razy?

[Macsch15]

jakiegoś obcego portalu

Ci dam obcego!

[makensis]

@Amfidiusz Uważam jednak, że poradnik jest na czasie, szczególnie po zmianach w kodowaniu na forach IPSu. Sposób w linku - przez phpMyAdmin i gżegżółkę pominąłem celowo, bo jest czasochłonny i potrafi nie wyjść, bo po drodze mamy różne systemy porównywania znaków. Sorry, ale to nie ty decydujesz czy poradnik jest przydatny czy nie.

Edytowane 20 Kwietnia 2012 przez makensis

[Jakub]

Automatyczna wiadomość

Temat przeniesiony z forum:

"Invision Power Board → Zaawansowane programowanie → Konwersja"

do:

"Invision Power Board → Invision Power Board 3.3 → Tutoriale i porady"

[necik]

1. Po konwersji powinniśmy otrzymać komunikat: FATAL ERROR Your settings could not be read by IP.Board. This is a fatal error and IP.Board cannot function while this issue persists. W tym wypadku ściągamy paczkę forum z IPS-u i wypakujemy zawartość folderu /Tools.
   
2. Wrzucamy na serwer do /admin folder /upgradeFinish
   
3. W przeglądarce wpisujemy adres www naszego forum z końcówką: /admin/upgradeFinish pojawi nam się instalator IPB, który przebuduje zawartość cache forum
   

O jaką paczkę z forum IPS-u chodzi. Można prosić o link?

[Macsch15]

Paczkę IP.Board, w niej masz folder "Tools" i "upgradeFinish".

[necik]

OK, wykonałem punkty 1-11, ale widzę 2 błędy u siebie na forum:

- krzaki w nazwach miesięcy, np "20 kwiecie� 2012 - 16:09"

- krzaki w acp http://i.imgur.com/OrFBk.png

Co może być tego przyczyną?

Edytowane 22 Kwietnia 2012 przez necik

[DawPi]

Nazwy - zmień locale dla języka z iso na utf.

Krzaki w ACP - użyj ponownie mojego moda (DP32) Localize Board.

[necik]

Dziękuję, pomogło A czy jest jakiś prosty i szybki sposób na sprawdzenie czy konwersja do UTF-8 w 100% przebiegła prawidłowo i można przejść do dalszego etapu jakim jest upgrade skryptu do najnowszej wersji?

[DawPi]

Chyba nie.. Zrób kopię wszystkiego - to podstawa.

[Łukasz]

W przeglądarce wpisujemy adres www naszego forum z końcówką: /admin/upgradeFinish pojawi nam się instalator IPB, który przebuduje zawartość cache forum

Mi przy tym punkcie sypie błędami sql brak tabel i takie tam

Mam przyczynę w bazie po konwersji shellem zostały nadal takie znaki ¶¶¶¶¶¶ oraz inne

Edytowane 26 Kwietnia 2012 przez Łukasz

[mieciu]

Moja baza ma 1.5GB i do tego wymieszane kodowanie. Da się to zrobić jakoś sensownie?

[DawPi]

mieciu, pewnie tak. Zależy ile w to włożysz czasu i zapału.

[mieciu]

Dobrze jest chyba wypróżnić najpierw zbędne tabele, jakieś logi, trackbacki z blogów itp? Pytanie tylko, czy mi komp to uciągnie

[DawPi]

Nie ma zbędnych tabel, a zbędna zawartość. Daj listę z Twojej bazy danych wraz z rozmiarem poszczególnych tabel to sprawdzę, co by można opróżnić.

[mieciu]

A więc wygląda to tak:D

ibf_admin_login_logs 29.4 KB 14.2 KB
ibf_admin_logs 15.4 KB 7.1 KB
ibf_admin_permission_rows 6.3 KB
ibf_ahreports 2.1 KB
ibf_ahreports_addons 2.2 KB
ibf_ahreports_adminmsg 1 KB
ibf_ahreports_cats 1 KB
ibf_ahreports_comments 1 KB
ibf_ahreports_communicate 1 KB
ibf_ahreports_status 2.3 KB
ibf_announcements 1 KB
ibf_api_log 1 KB
ibf_api_users 1 KB
ibf_attachments 1 MB
ibf_attachments_type 6 KB
ibf_badwords 3.7 KB
ibf_banfilters 11.3 KB
ibf_bbcode_mediatag 4.9 KB
ibf_blog_akismet_logs 530.3 KB
ibf_blog_attachments 1 KB
ibf_blog_blogs 180.3 KB
ibf_blog_bookmarks 2.6 KB
ibf_blog_categories 4.5 KB
ibf_blog_category_mapping 20.7 KB
ibf_blog_cblocks 151.3 KB
ibf_blog_cblock_cache 1.6 MB
ibf_blog_comments 320.7 KB
ibf_blog_custom_cblocks 1 KB
ibf_blog_default_cblocks 2.6 KB
ibf_blog_editors_map 2 KB
ibf_blog_entries 1.8 MB
ibf_blog_headers 3.4 KB
ibf_blog_lastinfo 245.4 KB 39.1 KB
ibf_blog_mediatag 4.1 KB
ibf_blog_moderators 1 KB
ibf_blog_pingservices 2.3 KB
ibf_blog_polls 3.8 KB 256 B
ibf_blog_ratings 11 KB
ibf_blog_rsscache 308.6 KB 356 B
ibf_blog_rssimport 1 KB
ibf_blog_themes 1 KB
ibf_blog_this 10.1 KB
ibf_blog_tracKB ack 4.1 MB
ibf_blog_tracKB ack_spamlogs 1 KB
ibf_blog_updatepings 5.5 KB 36 B
ibf_blog_upgrade_history 2 KB
ibf_blog_views 1 KB
ibf_blog_voters 4.7 KB
ibf_bulk_mail 95.4 KB 332 B
ibf_cache_simple 50.1 KB 10.8 KB
ibf_cache_store 4.2 MB 248 B
ibf_calendar_events 1 KB
ibf_cal_calendars 24.5 KB 10.4 KB
ibf_cal_events 808.4 KB
ibf_cal_event_comments 5.3 KB
ibf_cal_event_ratings 4.1 KB
ibf_cal_event_rsvp 1 KB
ibf_cal_import_feeds 1 KB
ibf_cal_import_map 4 KB
ibf_captcha 1 KB
ibf_conf_settings 134.1 KB
ibf_conf_settings_titles 9.2 KB
ibf_contato_antispam 2 KB
ibf_contato_customfields 2.1 KB
ibf_contato_departamentos 2 KB
ibf_contato_emails 2 KB
ibf_content_cache_posts 286.3 MB
ibf_content_cache_sigs 490.3 KB 152 B
ibf_converge_local 1 KB
ibf_core_applications 13.7 KB
ibf_core_editor_autosave 804.1 KB 759.2 KB
ibf_core_geolocation_cache 4 KB
ibf_core_hooks 48.3 KB
ibf_core_hooks_files 303.3 KB
ibf_core_incoming_emails 1 KB
ibf_core_incoming_email_log 1 KB
ibf_core_inline_messages 16.8 KB 7.8 KB
ibf_core_item_markers 60.6 MB
ibf_core_item_markers_storage 27.2 MB 2.8 MB
ibf_core_like 1.5 MB 21.4 KB
ibf_core_like_cache 12.2 MB 90.8 KB
ibf_core_rss_imported 2 KB
ibf_core_share_links 2.5 KB
ibf_core_share_links_caches 12.9 KB 8.8 KB
ibf_core_share_links_log 35.5 MB
ibf_core_soft_delete_log 59.5 KB
ibf_core_sys_conf_settings 284.3 KB 844 B
ibf_core_sys_cp_sessions 14.4 KB 4 KB
ibf_core_sys_lang 4.1 KB
ibf_core_sys_lang_words 6.7 MB
ibf_core_sys_login 5.4 KB 644 B
ibf_core_sys_module 13.5 KB
ibf_core_sys_settings_titles 14.1 KB
ibf_core_tags 2.3 MB48 B
ibf_core_tags_cache 926.7 KB 2.9 KB
ibf_core_tags_perms 683.7 KB 9.9 KB
ibf_core_uagents 7.3 KB
ibf_core_uagent_groups 2 KB
ibf_countdowns 2.3 KB
ibf_custom_bbcode 9.8 KB
ibf_custom_sidebar_blocks 2.6 KB 52 B
ibf_d22shoutbox_mods 2.2 KB
ibf_d22shoutbox_shouts 63.7 KB
ibf_dnames_change 5.5 KB
ibf_dp3_adv_topics 3.8 KB
ibf_dp3_cuspg 20 KB 24 B
ibf_dup_log 1 KB
ibf_emoticons 10.6 KB
ibf_error_logs 197.7 KB 58.6 KB
ibf_faq 112.5 KB
ibf_forums 70.9 KB 1.5 KB
ibf_forum_perms 2.3 KB
ibf_gallery_albums 214.7 KB
ibf_gallery_albums_main 658.7 KB
ibf_gallery_albums_temp 1 KB
ibf_gallery_bandwidth 1.5 MB224.4 KB
ibf_gallery_categories 11.2 KB
ibf_gallery_comments 1.9 MB
ibf_gallery_ecardlog 2.6 KB
ibf_gallery_favorites 3.4 KB
ibf_gallery_images 6.2 MB
ibf_gallery_images_uploads 63.2 KB 56.2 KB
ibf_gallery_ratings 93.1 KB
ibf_gallery_subscriptions 11.3 KB
ibf_gallery_upgrade_history 2 KB
ibf_garages_comments 388.8 KB
ibf_garages_currency 2 KB
ibf_garages_featured 2.1 KB
ibf_garages_fields_admin 9.7 KB
ibf_garages_fields_user 2.7 MB
ibf_garages_images 771.9 KB
ibf_garages_list 811.4 KB
ibf_garages_makes 1 KB
ibf_garages_models 1 KB
ibf_garages_mods 180.1 KB
ibf_garages_mods_cats 2.2 KB
ibf_garages_rating 170.4 KB
ibf_garages_tabs 2.1 KB
ibf_groups 11.5 KB
ibf_ignored_users 6.4 KB
ibf_inline_notifications 299 MB
ibf_installed_mods 2.5 KB
ibf_login_methods 3.7 KB
ibf_mail_error_logs 2.2 KB 136 B
ibf_mail_queue 482.4 KB 480.4 KB
ibf_masspms 2.7 KB
ibf_members 69 MB
ibf_members_backup 599.4 KB
ibf_members_isam 5.5 MB
ibf_members_partial 55 KB 17 B
ibf_member_status_actions 77.6 KB
ibf_member_status_replies 10 KB
ibf_member_status_updates 751.9 KB 144 B
ibf_message_posts 388 MB
ibf_message_topics 19.6 MB
ibf_message_topic_user_map 22.7 MB40 B
ibf_mobile_notifications 1 KB
ibf_moderators 5.3 KB
ibf_moderator_logs 1.6 MB630.7 KB
ibf_mod_queued_items 12 KB 328 B
ibf_openid_temp 1 KB
ibf_permission_index 29.4 KB
ibf_pfields_content 2.3 MB
ibf_pfields_data 2.6 KB
ibf_pfields_groups 2.1 KB
ibf_polls 104.1 KB
ibf_posts 841.3 MB
ibf_profile_friends 315 KB
ibf_profile_friends_flood 3.3 KB 272 B
ibf_profile_portal 12.9 MB
ibf_profile_portal_views 2.2 KB
ibf_profile_ratings 20.9 KB
ibf_question_and_answer 1 KB
ibf_rc_classes 6.9 KB
ibf_rc_comments 9.5 KB
ibf_rc_modpref 10.1 KB
ibf_rc_reports 4.4 MB
ibf_rc_reports_index 1.1 MB
ibf_rc_status 2.1 KB
ibf_rc_status_sev 3.6 KB
ibf_reg_antispam 1 KB
ibf_reportmanager_upgrade_history 1 KB
ibf_reputation_cache 2.3 MB
ibf_reputation_index 1.2 MB
ibf_reputation_levels 2.1 KB
ibf_rss_export 320.7 KB 39 KB
ibf_rss_import 3.4 KB 204 B
ibf_rss_imported 61.5 KB
ibf_search_keywords 152.4 MB
ibf_search_sessions 1.3 MB152.7 KB
ibf_search_visitors 1 KB
ibf_seo_acronyms 4 KB
ibf_seo_meta 1.1 KB
ibf_sessions 6.3 MB1.9 MB
ibf_shoutbox 881.6 KB
ibf_shoutbox_badwords 1 KB
ibf_shoutbox_colors 2 KB
ibf_shoutbox_exports 1 KB
ibf_shoutbox_ignored 1 KB
ibf_shoutbox_mods 2 KB
ibf_shoutbox_savedshouts 1 KB
ibf_shoutbox_settings 1 KB
ibf_shoutbox_shouts 2.9 MB
ibf_shoutbox_stats 1 KB
ibf_skin_cache 16.4 MB1.5 MB
ibf_skin_collections 18.6 KB
ibf_skin_css 283.4 KB
ibf_skin_css_previous 182.2 KB
ibf_skin_generator_sessions 1 KB
ibf_skin_merge_changes 4 KB
ibf_skin_merge_session 1 KB
ibf_skin_replacements 30.8 KB
ibf_skin_templates 2.6 MB 1.6 KB
ibf_skin_templates_cache 2 KB
ibf_skin_templates_cache_old 607.7 KB
ibf_skin_templates_previous 2.5 MB
ibf_skin_url_mapping 1 KB
ibf_social_groups 13.4 KB
ibf_social_groups_cat 2.5 KB
ibf_social_groups_invites 17.6 KB
ibf_social_groups_news 3.2 KB 130 B
ibf_social_groups_notes 2.2 KB
ibf_social_groups_perms 2.7 KB
ibf_social_groups_pm 3.6 KB
ibf_social_groups_supermods 1 KB
ibf_social_group_members 12.8 KB
ibf_spam_service_log 177.5 KB 59.8 KB
ibf_spider_logs 1 KB
ibf_subscriptions 1 KB
ibf_subscription_currency 2.1 KB
ibf_subscription_extra 1 KB
ibf_subscription_logs 1 KB
ibf_subscription_methods 2.7 KB
ibf_subscription_trans 1 KB
ibf_tags 1 KB
ibf_tags_index 39.6 KB
ibf_task_logs 3.7 MB 1.3 MB
ibf_task_manager 10.1 KB 80 B
ibf_template_sandr 1 KB
ibf_titles 3.3 KB
ibf_topics 23 MB40 B
ibf_topic_mmod 3 KB
ibf_topic_prefixes 9.2 KB
ibf_topic_ratings 109.6 KB
ibf_topic_views 103.9 KB
ibf_twitter_connect 378.8 KB
ibf_upgrade_history 14.5 KB 40 B
ibf_upgrade_sessions 3.6 KB
ibf_validating 1.8 MB
ibf_voters 1.1 MB

[mieciu]

Zrobiłem sobie krok po kroczku to, co było napisane, wszystko szło przez shella... bezbłednie. I otrzymałem taką d*pę zimną

http://www.test.forumrowerowe.org/

Może ktoś mi pomóc? Może konwersja zła.. Przed konwersją jak sprawdzałem wpisy w tabelach, znaki miały ogonki, bez względu na to, jakie kodowanie miała tabela. Czy to był latin2 czy utf8.

Edytowane 2 Sierpnia 2012 przez mieciu

[bort]

@mieciu: Jeśli w bazie masz poprawne kodowanie (utf8) i widzisz normalnie ogonki w phpMyAdmin to przed uruchomieniem narządzia upgradeFinish dopisz do pliku conf_global.php: $INFO['sql_charset'] = 'utf8';

Dopiero po tym kroku uruchom upgradeFinish i powinno być ok

Trochę z tym walczyłem przez ostatnich kilka dni i w końcu się udało - konwersję bazy z zepsutym kodowaniem o wielkości 1GB udało się wykonać po stronie serwera w 30 minut.

Edytowane 11 Września 2012 przez bort

[mieciu]

Już się z tym uporałem. Napisałem w innym temacie, że pominąłem konwersję w shellu. Jedyne co zmieniłem to kodowanie samych tabel i wgrałem bazę z powrotem. Fakt, ale to już informacja dla potomnych, że pliku config trzeba zmienić kodowanie, podobnie w ustawieniach forum.