Переход на UTF-8

[Дмитрий Кондин 690]

Перевели основную версию на UTF-8 кодировку. Теперь дистрибутив в новой кодировке. Для сайтов на кодировке windows-1251 все-также будет работать центр обновлений и мы будем поддерживать теперь две версии параллельно. (до мая 2014 г.)

Для быстрой перекодировки старых сайтов в UTF-8 на линукс-платформах необходимо использовать утилиту recode.

Вот ее код:

#!/bin/bash#cd ${1}for f in `find -iname \*.php -o -iname \*.tpl -o -iname \*.css -o -iname \*.js -o -iname \*.ini -o -iname \*.html`; do    echo $f    recode -f CP1251...UTF-8 $fdone

Создаем скрипт recode.sh и помещаем его в корень сайта (ВНИМАНИЕ! СДЕЛАЙТЕ РЕЗЕРВНУЮ КОПИЮ!)

Ставим права 755 и запускаем.

Этот скрипт автоматом перекодирует файлы php, tpl, css, js, ini, html в кодировку UTF-8

Также прошу заменить что на сервере должна быть установлена утилита recode http://ru.wikipedia.org/wiki/Recode

[abushyk 694]

для перевода БД в кодировку utf-8 для MySQL версии 5 и выше

 

1. заходим в phpMyAdmin вашего сервера

2. делаем полный дамп базы (на всякий случай бекап не помешает)

3. берем файл dbconverter.php (должно его положить в корень сервера, на уровне index.php)

4. запускаем его из браузера http://myhost/dbconverter.php

 

Файл использует ваше подключение к БД, следовательно наличие правильных параметров соединения в файле /inc/db.inc.php необходимо.

 

5. Если все ОК в результате работы файл выдаст отдну строку DONE

6. Если что-то пошло не так, он выдаст строку/строки вроде следующей

FAILED: ALTER TABLE `est_nutf8`.`re_data` CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;

 

http://piccy.info/view3/4891294/ba9ec10c7d5812c783414d83510e22d1/

 

Это значит, что есть ошибка при выполнении этого запроса. Конкретно в этом случае, как в примере, сразу смотрите структуру полей таблицы re_data и ищите поля с типом VARCHAR(цифры). Эти "цифры" могут быть любыми, но не могут быть больше 255.

http://piccy.info/view3/4891314/dbe5e0bfcabe386cf65bd105b259dde8/

Многобайтніе кодировки типа утф8 на єтом спотыкаются.  Если нашли такое, как VARCHAR(1000) смело меняйте на VARCHAR(255). Если  ошибка есть, а такого поля нет, пишите.

Если ошибка найдена и исправлена, запускаем снова http://myhost/dbconverter.php

 

7. Если вам удалось после запуска конвертера получить только DONE остается последний шаг - перейти в phpMyAdmin в страницу вашей базы. Не information_schema, а именно базы. В верхних вкладках выбрать Операции.

http://piccy.info/view3/4891240/6a453e8ab0cea5161195362ee894d731/

В ней найти раздел/секцию Сравнения и установить ее в utf8_general_ci и нажать ОК.

http://piccy.info/view3/4891245/547af59e5d598fa13c4ae2dbad6d8654/

ПС. Сам файл я передам Дмитрию, а он его уже либо в репозиторий положит, либо к теме прикрепит.

[Дмитрий Кондин 690]

А вот и сам конвертер: http://sitebill.ru/storage/fix/dbconverter.zip

[Chernetskiy 469]

Обратил внимание, что модуль комментариев еще не переведен на UTF-8 ? На сайте, где располагается модуль - квадратики, пришлось отключить.

[Дмитрий Кондин 690]

Обратил внимание, что модуль комментариев еще не переведен на UTF-8 ? На сайте, где располагается модуль - квадратики, пришлось отключить.

Модуль комментариев вы взяли из ЛК sitebill.ru?

Там еще версия cp2151.

[Chernetskiy 469]

Да. Фото прилагаю. Попробовал заказать и скачать модуль по новой, установил, результат тот-же 

[Chernetskiy 469]

Платный модуль выгрузки в Эксель имеет те-же проблемы, файл xls состоит из иероглифов.

 

Позже заметил еще один глюк. При загрузке улиц списком (из файла), улицы записываются обрывками, по непредсказуемому алгоритму, несколько улиц может записать только первыми двумя буквами из названия, некоторые полностью, но редко, некоторые  из 3-5 букв наименования... На скриншоте видно уже со второй улицы

[Дмитрий Кондин 690]

Платный модуль выгрузки в Эксель имеет те-же проблемы, файл xls состоит из иероглифов.

Понял вас, вы просто используете приложения в кодировке cp1251 на новой сборке UTF-8.

Я подготовлю новые пакеты и отправлю вам.

[Дмитрий Кондин 690]

Теперь все приложения в магазине приложений в кодировке UTF-8