[ruby-trunk - Bug #9409] Cygwin で "filesystem" の encoding が正しくないケ

Ruby Development
1

チケット #9409 が Nayuta Taga によって更新されました。

ファイル test.c を追加

Usaku NAKAMURA wrote:

Nayuta Taga wrote:

Windows ネイティブ環境ならばそうかもしれませんが、
Cygwin 環境ですので LANG に設定されている
エンコーディングに従うべきではないのでしょうか?

Cygwinだろうがなんだろうが、Windowsにおいて、ファイルシステムの保持する
エンコーディングをRubyが勝手に違うものとみなすことはできません。

まず、Cygwin 特有の事情をご説明いたします。

http://cygwin.com/cygwin-ug-net/setup-locale.html

processes, but not within the same process.
つまり Cygwin のファイル名のエンコーディングは、
Cygwin プロセス起動時に設定されていた LANG に左右されます。
(これは一般的なUnixとは異なる挙動だと思います)

例えば、添付ファイル test.c を以下の手順で実行するとします。

  1. gcc test.c
  2. cygwin プロセスを全て終了させる
  3. cmd.exe を起動する
  4. c:\> echo test > 日本語.txt
  5. c:\> set LANG=ja_JP.SJIS
  6. c:\> a.exe > result_sjis.txt
  7. c:\> set LANG=ja_JP.UTF-8
  8. c:\> a.exe > result_utf8.txt

この結果は以下のようになります。

  • result_sjis.txt は SJIS で「日本語.txt」という文字列が含まれる。
  • result_utf8.txt は UTF-8 で「日本語.txt」という文字列が含まれる。

ですから、ファイルシステムの保持するエンコーディングはLANG によって決定
されるエンコーディングだとみなしてよいと思われます。

また、コメント1の出力で

#<Encoding:Windows-31J>
"\x{E697}\xA5\x{E69C}\xAC\x{E8AA}\x9E.txt"

というものがありますが、これは UTF-8 の文字列に誤って Windows-31J とい
うエンコーディングが付加されている状態となります。したがって
item.force_encoding(‘locale’) などとしなければ利用できませんのでかなり
予想外の挙動となります。

Bug #9409: Cygwin で “filesystem” の encoding が正しくないケース

  • 作成者: Nayuta Taga
  • ステータス: Open
  • 優先度: Normal
  • 担当者:
  • カテゴリ:
  • 対象バージョン:
  • ruby -v: -
  • Backport: 1.9.3: UNKNOWN, 2.0.0: UNKNOWN, 2.1: UNKNOWN

Cygwin で環境変数 LANG に設定されているエンコーディングと
システムのコードページが異なる場合
“filesystem” の encoding が正しく設定されないようです。

例えば、

  • Windows 7 (日本語)
  • Cygwin 環境 (CYGWIN_NT-6.1-WOW64 ****** 1.7.27(0.271/5/3) 2013-12-09
    11:57 i686 Cygwin)
  • 環境変数 LANG は ja_JP.UTF-8
  • カレントディレクトリに「日本語.txt」という名前のファイルが存在

という状態で以下のコードを実行すると

print "LANG=#{ENV['LANG']}\n"
print "\n"
Dir.open('.').each{|item|
  p item.encoding
  p item
}
print "\n"
Dir.open('.',encoding: 'locale').each{|item|
  p item.encoding
  p item
}
print "\n"

例えば以下のような出力が得られます。

LANG=ja_JP.UTF-8

#<Encoding:Windows-31J>
"."
#<Encoding:Windows-31J>
".."
#<Encoding:Windows-31J>
"test.rb"
#<Encoding:Windows-31J>
"\x{E697}\xA5\x{E69C}\xAC\x{E8AA}\x9E.txt"

#<Encoding:UTF-8>
"."
#<Encoding:UTF-8>
".."
#<Encoding:UTF-8>
"test.rb"
#<Encoding:UTF-8>
"日本語.txt"

本来ならば全ての Encoding が UTF-8 であるべきだと思います。

Init_enc_set_filesystem_encoding() を以下のように修正すれば修正可能です。

Index: localeinit.c
===================================================================
--- localeinit.c        (revision 44594)
+++ localeinit.c        (working copy)
@@ -53,7 +53,7 @@
     int idx;
 #if defined NO_LOCALE_CHARMAP
 # error NO_LOCALE_CHARMAP defined
-#elif defined _WIN32 || defined __CYGWIN__
+#elif defined _WIN32 && !defined __CYGWIN__
     char cp[sizeof(int) * 8 / 3 + 4];
     snprintf(cp, sizeof cp, "CP%d", AreFileApisANSI() ? GetACP() : 
GetOEMCP());
     idx = rb_enc_find_index(cp);

—ファイル---------------------------------
test.c (189 Bytes)