Как изменить кодировку имени файла

В статье рассказывается о том, как упаковывать файлы в ZIP-архив с кодировкой имён в UTF-8.

Описание проблемы

Иногда при открытии архивов ZIP в именах файлов написаны иероглифы. В основном, это случается при работе с архивами, упакованными в среде Windows, в других операционных системах, например Linux и Mac OS.

Вот как это выглядит:

Почему так

Такое получается из-за разных кодировок в разных операционных системах. А точнее из-за того, что Windows до сих пор использует свою WIN1251, когда давно уже существует UTF-8, созданная специально во избежание подобных проблем. ZIP, хоть и являясь старейшим и распространённейшим форматом архивов, испытывает проблемы с этим при переносе архива с платформы на платформу.

Не имеет значения, какую программу-архиватор вы используете — причина именно в самом формате ZIP. Для проверки мы упаковали тестовый архив с настройками по умолчанию сначала архиватором WinRAR, затем — архиватором 7-Zip. После чего просмотрели архивы в среде Mac OS — в обоих архивах кириллические имена файлов превратились в набор кракозябр.

Ну так может тогда не стоит использовать формат ZIP и паковать всё, например, в 7z? В общем-то, это хорошая идея, но дело в том (и это единственная причина), что ZIP, как уже говорилось, является наиболее распространённым форматом архивов, потому чтобы большинство ваших пользователей смогло распаковать ваш архив, использовать рекомендуется именно его.

Что делать

Нужно как-то принудительно указать архиватору, что при кодировке имён файлов он должен использовать UTF-8.

И у архиватора 7-Zip есть такая возможность. Формат команды следующий:

7z.exe a -tzip -mcu archname.zip file2pack.txt

Здесь:

7z.exe — имя исполняемого файла архиватора;

a — команда архивации;

-tzip — формат архива: ZIP;

-mcu — именно эти ключи указывают на кодировку UTF-8;

archname.zip — имя итогового файла архива;

file2pack.txt — файлы для упаковки.

После создание архива такой командой кириллица в именах файлов сохраняется на всех платформах, использующих UTF-8 (то есть, практически везде):

Очередная медаль на грудь славного архиватора 7-Zip.

Как это автоматизировать

Понятное дело, что каждый раз лезть в командную строку и писать там команду архивации с необходимыми ключами очень сильно обламывает, ведь хочется, чтобы всё выполнялось в два клика мышью.

Как вариант, можно написать свою оболочку для 7z.exe или просто создать .bat-файл.

А можно воспользоваться приложением Open++ и добавить нужный пункт в контекстное меню Windows.

Вычислительная
система кафедры перешла на использование многобайтовой кодировки UTF-8
для файловых систем и пользовательского окружения вместо однобайтовой
кодировки KOI8-R. В данной инструкции рассматриваются типичные
проблемы, которые могли возникнуть у пользователей в связи с данным
переходом и предлагаются способы их решения (изменения настроек,
команды и т.п.).

Основные понятия

Юнико́д, или Унико́д (англ. Unicode™) — стандарт кодирования
символов, позволяющий представить знаки практически всех письменных
языков.

UTF-8 (от англ. Unicode Transformation Format — формат
преобразования Юникода) — кодировка, реализующая представление Юникода,
совместимое с 8-битным кодированием текста.

Важно понимать, что один символ в кодировке UTF-8 может быть
представлен более чем одним байтом. С этим связано, например, то, что
файл, содержащий текст в кодировке UTF-8 будет иметь больший размер по
сравнению с файлом, содержащим тот-же текст в кодировке KOI8-R.

Пример: команда wc имеет ключ -c для подсчета байтов и ключ -m для подсчета символов.

$ echo -n "Слово." | wc -c
11
$ echo -n "Слово." | wc -m
6

Имена файлов

Имена файлов были перекодированы автоматически с помощью утилиты convmv:

convmv -r -f koi8-r -t utf-8 --notest <каталог>

Каждому пользователю, в домашнем каталоге которого утилита convmv переименовала хотя бы один файл, был автоматически выслан журнал переименований.

При необходимости можно выполнить обратное преобразование:

 convmv -r -f utf-8 -t koi8-r <файлы и каталоги>

После проверки вывода команды повторить с ключем —notest. Ключ -r включает рекурсивный обход каталогов.

Содержимое файлов

Для того, чтобы преобразовать содержимое файлов из кодировки KOI8-R в кодировку UTF-8 можно воспользоваться командой:

recode koi8-r..utf-8 <filename>

Для потокового перекодирования используется команда:

iconv -f koi8-r <filename>

Редактор Emacs может автоматически распознать кодировку текста при
открытии файла. Принудительно задать кодировку открытия или сохранения
файла в редакторе Emacs можно следующим образом:

1. Ввести комбинацию клавиш C-x RET c.
2. Внизу экрана будет запрошена кодировка, которую вы хотите применить для следующей команды.
3. Введите команду, которая будет выполнена с применением введенной на предыдущем шаге кодировки, например:
   • комбинацию клавиш для открытия файла: C-x C-f;
   • комбинацию клавиш для сохранения файла: C-x C-s.

Приложения

Текстовый терминал из Windows

Для корректного отображения русского текста при входе на серверы
кафедры с помощью терминального клиента PuTTY нужно указать в
настройках:

• Раздел Window/Translation
  • Character set translation on recieved data: UTF-8

Текстовый терминал из Linux

Если системная локаль не UTF-8, то необходимо запустить X-терминал с поддержкой UTF-8 и выполнить вход по ssh из него.

Если системная локаль UTF-8, то никаких дополнительных действий предпринимать не надо.

Если по какой-то причине при входе по ssh не установились правильно переменные окружения локали (вывод команды locale не содержит строки LANG=ru_RU.UTF-8), то необходимо выполнить команду:

export LANG=ru_RU.UTF-8

WinSCP

Для корректного отображения русских имен файлов:

• Раздел Environment
  • UTF-8 encoding for filenames: On

TEX

• После выполнения перекодировки содержимого tex-файла (см. Содержимое файлов) необходимо сменить кодировку в преамбуле:

Было:

usepackage[koi8-r]{inputenc}

Стало:

usepackage[utf8x]{inputenc}

• Также необходимо подключить пакет ucs:

usepackage{ucs}

• Для установки диакритических знаков (ударений) нужно использовать полную форму стандартной записи ‘, т.е.:

Б'{о}льшую

Bibtex

Bib-файлы, содержащие описание литературы, хранятся в кодировке KOI8-R. После выполнения команды bibtex
необходимо сначала перекодировать получившийся bbl-файл в кодировку
UTF-8 (см. Содержимое файлов), а затем выполнять трансляцию
tex-файлов, подключающих этот список литературы.

Your incorrect files appear to be double-UTF-8 encoded.

For instance, the ä U+00E4 has been encoded as:

1. U+00E4 -> 0xc3 0xa4 (UTF-8 encoding)
2. 0xc3 -> 0xc3 0x83 (iso8859-1 Ã -> UTF-8), 0xa4 -> 0xc3 0xa4 (iso8859-1 ¤ -> UTF-8) where each byte of the UTF-8 encoding of U+00E4 has been interpreted as if they were the encoding of some other character in a single-byte charset (here likely iso8859-1 or windows-1252) and encoded again in UTF-8.

So you’re right to use convmv -f utf8 -t iso-8859-1 for that. To leave the files that are not double-encoded alone, convmv has a special option for that: --fixdouble, so it should just be:

convmv --fixdouble -f utf8 -t iso-8859-1 -r --notest .

There’s a section dedicated to that in convmv‘s manual:

How to undo double UTF-8 (or other) encoded filenames

Sometimes it might happen that you «double-encoded» certain filenames, for example the file names already were UTF-8 encoded and you
accidentally did another conversion from some charset to UTF-8. You can simply undo that by converting that the other way round. The
from-charset has to be UTF-8 and the to-charset has to be the from-charset you previously accidentlly used. If you use the
«—fixdouble» option convmv will make sure that only files will be processed that will still be UTF-8 encoded after conversion and it
will leave non-UTF-8 files untouched. You should check to get the correct results by doing the conversion without «—notest» before,
also the «—qfrom» option might be helpful, because the double utf-8 file names might screw up your terminal if they are being printed —
they often contain control sequences which do funny things with your terminal window. If you are not sure about the charset which was
accidentally converted from, using «—qfrom» is a good way to fiddle out the required encoding without destroying the file names finally.

Files that are double-UTF-encoded via iso8859-1 (which covers code points U+0000 U+00FF) will contain sequences of non-ASCII characters consisting of one character in the the U+00C2 -> U+00F4 range (ÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóô) followed by one or more characters in the U+0080 -> U+00BF range (U+0080 to U+009F being control character plus non-breaking space plus ¡¢£¤¥¦§¨©ª«¬­®¯°±²³´µ¶·¸¹º»¼½¾¿). Those sequences are relatively unlikely to occur in non-double-encoded text, especially considering that characters above U+00E0 (the lower case ones in the first set above) have to be followed by at least 2 characters in the second set, so convmv --fixdouble is unlikely to get it wrong.

Your incorrect files appear to be double-UTF-8 encoded.

For instance, the ä U+00E4 has been encoded as:

1. U+00E4 -> 0xc3 0xa4 (UTF-8 encoding)
2. 0xc3 -> 0xc3 0x83 (iso8859-1 Ã -> UTF-8), 0xa4 -> 0xc3 0xa4 (iso8859-1 ¤ -> UTF-8) where each byte of the UTF-8 encoding of U+00E4 has been interpreted as if they were the encoding of some other character in a single-byte charset (here likely iso8859-1 or windows-1252) and encoded again in UTF-8.

So you’re right to use convmv -f utf8 -t iso-8859-1 for that. To leave the files that are not double-encoded alone, convmv has a special option for that: --fixdouble, so it should just be:

convmv --fixdouble -f utf8 -t iso-8859-1 -r --notest .

There’s a section dedicated to that in convmv‘s manual:

How to undo double UTF-8 (or other) encoded filenames

Sometimes it might happen that you «double-encoded» certain filenames, for example the file names already were UTF-8 encoded and you
accidentally did another conversion from some charset to UTF-8. You can simply undo that by converting that the other way round. The
from-charset has to be UTF-8 and the to-charset has to be the from-charset you previously accidentlly used. If you use the
«—fixdouble» option convmv will make sure that only files will be processed that will still be UTF-8 encoded after conversion and it
will leave non-UTF-8 files untouched. You should check to get the correct results by doing the conversion without «—notest» before,
also the «—qfrom» option might be helpful, because the double utf-8 file names might screw up your terminal if they are being printed —
they often contain control sequences which do funny things with your terminal window. If you are not sure about the charset which was
accidentally converted from, using «—qfrom» is a good way to fiddle out the required encoding without destroying the file names finally.

Files that are double-UTF-encoded via iso8859-1 (which covers code points U+0000 U+00FF) will contain sequences of non-ASCII characters consisting of one character in the the U+00C2 -> U+00F4 range (ÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóô) followed by one or more characters in the U+0080 -> U+00BF range (U+0080 to U+009F being control character plus non-breaking space plus ¡¢£¤¥¦§¨©ª«¬­®¯°±²³´µ¶·¸¹º»¼½¾¿). Those sequences are relatively unlikely to occur in non-double-encoded text, especially considering that characters above U+00E0 (the lower case ones in the first set above) have to be followed by at least 2 characters in the second set, so convmv --fixdouble is unlikely to get it wrong.

Страницы: [1]   Вниз

0 Пользователей и 1 Гость просматривают эту тему.

Страницы: [1]   Вверх