[ruby-trunk - Bug #7084][Open] RubyVM::InstructionSequence.compile("1+"*10000 + "1") causes SystemSt

aris · September 29, 2012, 11:27am

Issue #7084 has been reported by mrkn (Kenta M.).

Bug #7084: RubyVM::InstructionSequence.compile(“1+”*10000 + “1”) causes
SystemStackError or Segmentation Fault

Author: mrkn (Kenta M.)
Status: Open
Priority: Normal
Assignee: ko1 (Koichi Sasada)
Category: core
Target version: 2.0.0
ruby -v: ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

$ .prefix/bin/ruby -v
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]
$ ulimit -s
8192
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: stack level too deep (SystemStackError)
$ ulimit -s 32768
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: [BUG] Segmentation fault
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

– Control frame information

c:0003 p:---- s:0009 e:000008 CFUNC :compile
c:0002 p:0028 s:0005 e:000bc8 EVAL -e:1 [FINISH]
c:0001 p:0000 s:0002 e:0020e8 TOP [FINISH]

-e:1:in <main>' -e:1:in compile’

– C level backtrace information

See Crash Report log file under ~/Library/Logs/CrashReporter or
/Library/Logs/CrashReporter, for the more detail of.

– Other runtime information

Loaded script: -e
Loaded features:

mrkn_SKenta_M.S · September 29, 2012, 12:39pm

(2012/09/29 18:27), mrkn (Kenta M.) wrote:

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

ええと，どうしたもんですかね．実装の都合でスタックオーバーフローするも
のは他にもありそうなので，これだけ頑張るべきか，よくわからないんですが…．

これだけ取り出した理由はなんでしょうか．こういう操作ってよくやるんです
かね．

mrkn_SKenta_M.S · September 29, 2012, 11:29am

Issue #7084 has been updated by mrkn (Kenta M.).

gdb で採取したバックとレースを gist に上げました。ulimit -s 8192 の場合です。参考までに。

gist.github.com

https://gist.github.com/mrkn/3803540

gistfile1.txt

(gdb) r -e 'p eval("1+"*10000+"1")'
Starting program: /Users/mrkn/work/ruby.git/.prefix/bin/ruby -e 'p eval("1+"*10000+"1")'

Program received signal EXC_BAD_ACCESS, Could not access memory.
Reason: KERN_PROTECTION_FAILURE at address: 0x00007fff5f3ff3b8
0x00000001001cd737 in iseq_compile_each (iseq=0x101102030, ret=0x7fff5f402548, node=0x100ae3048, poped=0) at ../compile.c:4158
4158		DECL_ANCHOR(recv);
(gdb) where
#0  0x00000001001cd737 in iseq_compile_each (iseq=0x101102030, ret=0x7fff5f402548, node=0x100ae3048, poped=0) at ../compile.c:4158
#1  0x00000001001cd7f1 in iseq_compile_each (iseq=0x101102030, ret=0x7fff5f404058, node=0x100ae2fd0, poped=0) at ../compile.c:4228

This file has been truncated. show original

Bug #7084: RubyVM::InstructionSequence.compile(“1+”*10000 + “1”) causes
SystemStackError or Segmentation Fault

Author: mrkn (Kenta M.)
Status: Open
Priority: Normal
Assignee: ko1 (Koichi Sasada)
Category: core
Target version: 2.0.0
ruby -v: ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

$ .prefix/bin/ruby -v
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]
$ ulimit -s
8192
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: stack level too deep (SystemStackError)
$ ulimit -s 32768
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: [BUG] Segmentation fault
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

– Control frame information

c:0003 p:---- s:0009 e:000008 CFUNC :compile
c:0002 p:0028 s:0005 e:000bc8 EVAL -e:1 [FINISH]
c:0001 p:0000 s:0002 e:0020e8 TOP [FINISH]

-e:1:in <main>' -e:1:in compile’

– C level backtrace information

See Crash Report log file under ~/Library/Logs/CrashReporter or
/Library/Logs/CrashReporter, for the more detail of.

– Other runtime information

Loaded script: -e
Loaded features:

mrkn_SKenta_M.S · September 29, 2012, 4:12pm

Issue #7084 has been updated by mrkn (Kenta M.).

“1+”*10000 + “1” は YAPC::Asia の LT で見かけたネタです。

ulimit -s の値に依存して SEGV してしまう場合があるので、それだけでも直したいです。

Bug #7084: RubyVM::InstructionSequence.compile(“1+”*10000 + “1”) causes
SystemStackError or Segmentation Fault

Author: mrkn (Kenta M.)
Status: Open
Priority: Normal
Assignee: ko1 (Koichi Sasada)
Category: core
Target version: 2.0.0
ruby -v: ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

$ .prefix/bin/ruby -v
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]
$ ulimit -s
8192
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: stack level too deep (SystemStackError)
$ ulimit -s 32768
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: [BUG] Segmentation fault
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

– Control frame information

c:0003 p:---- s:0009 e:000008 CFUNC :compile
c:0002 p:0028 s:0005 e:000bc8 EVAL -e:1 [FINISH]
c:0001 p:0000 s:0002 e:0020e8 TOP [FINISH]

-e:1:in <main>' -e:1:in compile’

– C level backtrace information

See Crash Report log file under ~/Library/Logs/CrashReporter or
/Library/Logs/CrashReporter, for the more detail of.

– Other runtime information

Loaded script: -e
Loaded features:

mrkn_SKenta_M.S · September 30, 2012, 1:19pm

(2012/09/29 23:11), mrkn (Kenta M.) wrote:

ulimit -s の値に依存して SEGV してしまう場合があるので、それだけでも直したいです。

ulimit -s の値に依存せず SEGV するのはもっと嫌な気がしますが，それはと
もかく，直るのなら大変結構なことだと思います．よろしくお願いします．

mrkn_SKenta_M.S · October 3, 2012, 11:38am

Issue #7084 has been updated by ko1 (Koichi Sasada).

これって，r37072 で直ったんでしょうか．

Bug #7084: RubyVM::InstructionSequence.compile(“1+”*10000 + “1”) causes
SystemStackError or Segmentation Fault

Author: mrkn (Kenta M.)
Status: Closed
Priority: Normal
Assignee: ko1 (Koichi Sasada)
Category: core
Target version: 2.0.0
ruby -v: ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

$ .prefix/bin/ruby -v
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]
$ ulimit -s
8192
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: stack level too deep (SystemStackError)
$ ulimit -s 32768
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: [BUG] Segmentation fault
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

– Control frame information

c:0003 p:---- s:0009 e:000008 CFUNC :compile
c:0002 p:0028 s:0005 e:000bc8 EVAL -e:1 [FINISH]
c:0001 p:0000 s:0002 e:0020e8 TOP [FINISH]

-e:1:in <main>' -e:1:in compile’

– C level backtrace information

See Crash Report log file under ~/Library/Logs/CrashReporter or
/Library/Logs/CrashReporter, for the more detail of.

– Other runtime information

Loaded script: -e
Loaded features:

mrkn_SKenta_M.S · October 3, 2012, 7:23pm

Issue #7084 has been updated by mrkn (Kenta M.).

Status changed from Closed to Open

まだ直ってません。ulimit -s 32768 の場合はきちんと SystemStackError で終了しましたが、
ulimit -s 4096 の場合に Segmentation Fault が発生しています。

さっき追加で調査した結果を以下に述べます。

gist.github.com

https://gist.github.com/mrkn/3828296

0.patch

diff --git a/compile.c b/compile.c
index 535084b..ac91020 100644
--- a/compile.c
+++ b/compile.c
@@ -3105,6 +3105,7 @@ iseq_compile_each(rb_iseq_t *iseq, LINK_ANCHOR *ret, NODE * node, int poped)
     debug_node_start(node);
 
     type = nd_type(node);
+    printf("&type == %p\n", &type); fflush(stdout);

This file has been truncated. show original

1.log

&type == 0x7fff5429b868
&type == 0x7fff54299d58
&type == 0x7fff54298248
&type == 0x7fff54296738
&type == 0x7fff54294c28
size == 3355444
base == 0x7fff5435d7d4
addr == 0x7fff54290fa8
base - addr == 837676
-e:1: [BUG] Segmentation fault

This file has been truncated. show original

この gist に貼った 1.patch を当てて問題をコードを実行すると、
1.log として貼付けたように iseq_compile_each のローカル変数 type のアドレスがずらずら表示されます。

前後に隣り合うアドレスの差分を計算すると、再帰呼び出し1段で type のアドレスが6928も変化していてページサイズより大きいため、
ruby_stack_overflowed_p でスタックオーバーフローの判定に失敗しているのかなぁと推測しました。

そこで、iseq_compile_each の中の switch 文を複数の関数に分離して実行してみました。

gist.github.com

https://gist.github.com/mrkn/3828416

0.patch

diff --git a/compile.c b/compile.c
index 535084b..1a2a3c0 100644
--- a/compile.c
+++ b/compile.c
@@ -284,6 +284,17 @@ r_value(VALUE value)
   ret = 0;                                         \
   break;                                           \
 }
+#define COMPILE_ERROR_RETURN(strs)                        \
+{                                                  \

This file has been truncated. show original

1.log

(前略)
&type == 0x7fff5f036638
&type == 0x7fff5f036408
&type == 0x7fff5f0361d8
&type == 0x7fff5f035fa8
&type == 0x7fff5f035d78
size == 3355444
base == 0x7fff5f1017d4
addr == 0x7fff5f034fe8
base - addr == 837612

This file has been truncated. show original

iseq_compile_each が使うスタックのサイズは560まで減りましたが、依然としてスタックオーバーフローの判定に失敗してます。

ここまでやって力尽きたので、また日を改めて調査します。

Bug #7084: RubyVM::InstructionSequence.compile(“1+”*10000 + “1”) causes
SystemStackError or Segmentation Fault

Author: mrkn (Kenta M.)
Status: Open
Priority: Normal
Assignee: ko1 (Koichi Sasada)
Category: core
Target version: 2.0.0
ruby -v: ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

以下のように ulimit -s の値に応じて stack level too deep と Segmentation Fault
のどちらかが発生するようです。

$ .prefix/bin/ruby -v
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]
$ ulimit -s
8192
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: stack level too deep (SystemStackError)
$ ulimit -s 32768
$ .prefix/bin/ruby -e ‘p
RubyVM::InstructionSequence.compile(“1+”*10000+“1”)’
-e:1: [BUG] Segmentation fault
ruby 2.0.0dev (2012-09-29 trunk 37053) [x86_64-darwin12.1.0]

– Control frame information

c:0003 p:---- s:0009 e:000008 CFUNC :compile
c:0002 p:0028 s:0005 e:000bc8 EVAL -e:1 [FINISH]
c:0001 p:0000 s:0002 e:0020e8 TOP [FINISH]

-e:1:in <main>' -e:1:in compile’

– C level backtrace information

See Crash Report log file under ~/Library/Logs/CrashReporter or
/Library/Logs/CrashReporter, for the more detail of.

– Other runtime information

Loaded script: -e
Loaded features: