[ruby-trunk - Bug #7954][Open] "あ".byteslice(0,2).valid encoding? should return false

Issue #7954 has been reported by Tietew (Toru Iwase).


Bug #7954: “あ”.byteslice(0,2).valid_encoding? should return false

Author: Tietew (Toru Iwase)
Status: Open
Priority: Normal
Assignee:
Category:
Target version: 2.0.0
ruby -v: 2.0.0p0

=begin
valid encodingな文字列に対するString#bytesliceがinvalid
encodingなバイト列を生成してもvalid_encoding?がtrueになります。
これはfalseになるべきだと思います。

なお、1.9.3も同じ挙動です。

irb(main):001:0> RUBY_DESCRIPTION
=> “ruby 2.0.0p0 (2013-02-24 revision 39474) [x86_64-linux]”
irb(main):002:0> “あ”.encoding
=> #Encoding:UTF-8
irb(main):003:0> “あ”.valid_encoding?
=> true
irb(main):004:0> “あ”.byteslice(0,2)
=> “\xE3\x81”
irb(main):005:0> “あ”.byteslice(0,2).valid_encoding?
=> true
irb(main):006:0> “\xE3\x81”.encoding
=> #Encoding:UTF-8
irb(main):007:0> “\xE3\x81”.valid_encoding?
=> false

ちなみに、invalidな文字列を正しい位置でbytesliceすると正しくvalidと判定されます。

irb(main):025:0> “あ\xE3”.valid_encoding?
=> false
irb(main):026:0> “あ\xE3”.byteslice(0,3).valid_encoding?
=> true
=end

Issue #7954 has been updated by duerst (Martin Dürst).

この場合の問題はそもぞも

“あ”.byteslice(0,2).encoding
=> #Encoding:UTF-8

にあるかと思います。byteslice の戻り値の encoding は BINARY にすべきだと思います。

Bug #7954: “あ”.byteslice(0,2).valid_encoding? should return false

Author: Tietew (Toru Iwase)
Status: Open
Priority: Normal
Assignee:
Category:
Target version: 2.0.0
ruby -v: 2.0.0p0

=begin
valid encodingな文字列に対するString#bytesliceがinvalid
encodingなバイト列を生成してもvalid_encoding?がtrueになります。
これはfalseになるべきだと思います。

なお、1.9.3も同じ挙動です。

irb(main):001:0> RUBY_DESCRIPTION
=> “ruby 2.0.0p0 (2013-02-24 revision 39474) [x86_64-linux]”
irb(main):002:0> “あ”.encoding
=> #Encoding:UTF-8
irb(main):003:0> “あ”.valid_encoding?
=> true
irb(main):004:0> “あ”.byteslice(0,2)
=> “\xE3\x81”
irb(main):005:0> “あ”.byteslice(0,2).valid_encoding?
=> true
irb(main):006:0> “\xE3\x81”.encoding
=> #Encoding:UTF-8
irb(main):007:0> “\xE3\x81”.valid_encoding?
=> false

ちなみに、invalidな文字列を正しい位置でbytesliceすると正しくvalidと判定されます。

irb(main):025:0> “あ\xE3”.valid_encoding?
=> false
irb(main):026:0> “あ\xE3”.byteslice(0,3).valid_encoding?
=> true
=end

Issue #7954 has been updated by naruse (Yui NARUSE).

Category set to M17N
Status changed from Open to Assigned
Assignee set to naruse (Yui NARUSE)

duerst (Martin Dürst) wrote:

この場合の問題はそもぞも

“あ”.byteslice(0,2).encoding
=> #Encoding:UTF-8

にあるかと思います。byteslice の戻り値の encoding は BINARY にすべきだと思います。

BINARY で受け取りたいならば、“あ”.b.slice(0,2) とすればいいのであって、別のメソッドである意味がありません。

Bug #7954: “あ”.byteslice(0,2).valid_encoding? should return false

Author: Tietew (Toru Iwase)
Status: Assigned
Priority: Normal
Assignee: naruse (Yui NARUSE)
Category: M17N
Target version: 2.0.0
ruby -v: 2.0.0p0

=begin
valid encodingな文字列に対するString#bytesliceがinvalid
encodingなバイト列を生成してもvalid_encoding?がtrueになります。
これはfalseになるべきだと思います。

なお、1.9.3も同じ挙動です。

irb(main):001:0> RUBY_DESCRIPTION
=> “ruby 2.0.0p0 (2013-02-24 revision 39474) [x86_64-linux]”
irb(main):002:0> “あ”.encoding
=> #Encoding:UTF-8
irb(main):003:0> “あ”.valid_encoding?
=> true
irb(main):004:0> “あ”.byteslice(0,2)
=> “\xE3\x81”
irb(main):005:0> “あ”.byteslice(0,2).valid_encoding?
=> true
irb(main):006:0> “\xE3\x81”.encoding
=> #Encoding:UTF-8
irb(main):007:0> “\xE3\x81”.valid_encoding?
=> false

ちなみに、invalidな文字列を正しい位置でbytesliceすると正しくvalidと判定されます。

irb(main):025:0> “あ\xE3”.valid_encoding?
=> false
irb(main):026:0> “あ\xE3”.byteslice(0,3).valid_encoding?
=> true
=end