player_type,DeepSeek-V4-Flash-Simple,DeepSeek-V4-Flash-Simple-Per-5,DeepSeek-V4.1-Flash-Simple-Per-5,GLM-5.1-Simple,GLM-5.2-Simple,GLM-5.2-Simple-Per-5,GLM-5.3-Flash-Simple,GLM-5.3-Flash-Simple-Per-5,GLM-5.3-Simple-Per-5,GPT-6-Luna-Simple,GPT-6-Luna-Simple-Per-5,GPT-6.1-Sol-Simple,GPT-6.1-Sol-Simple-Per-5,GPT-OSS-120B-Simple,GPT-OSS-120B-Simple-Per-5,Gemma-4-Simple,Gemma-4-Simple-Per-5,Kimi-K2.6-Simple,Kimi-K2.7-Simple,Kimi-K2.7-Simple-Per-5,MiniMax-M2.7-Simple,MiniMax-M2.7-Simple-Per-5,MiniMax-M3-Simple-Per-5,Nemotron-3-Super-Simple,Nemotron-3-Super-Simple-Per-5,Null,Opus-5.5-Simple-Per-5,Qwen-3.5-Simple,Qwen-3.5-Simple-Per-5,Qwen-3.6-27B-Simple,Qwen-3.6-27B-Simple-Per-5,Qwen-3.8-27B-Simple,Qwen-3.8-27B-Simple-Per-5,Qwen-3.8-Flash-Next-Simple,Qwen-3.8-Flash-Next-Simple-Per-5,Sonnet-5.5-Simple-Per-5,Vanilla
DeepSeek-V4-Flash-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.04637361111111112
DeepSeek-V4-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.03135138888888889
DeepSeek-V4.1-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.030873611111111116
GLM-5.1-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.042433333333333344
GLM-5.2-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.02493819444444445
GLM-5.2-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.04265277777777778
GLM-5.3-Flash-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.06649930555555557
GLM-5.3-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.06869097222222222
GLM-5.3-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.08841805555555554
GPT-6-Luna-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.07894266666666666
GPT-6-Luna-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.043125694444444425
GPT-6.1-Sol-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.02094305555555555
GPT-6.1-Sol-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.013373611111111105
GPT-OSS-120B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.1261111111111111
GPT-OSS-120B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.17531041666666666
Gemma-4-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.12095138888888889
Gemma-4-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.08063472222222222
Kimi-K2.6-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.041559722222222234
Kimi-K2.7-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.01297986111111111
Kimi-K2.7-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.004790972222222222
MiniMax-M2.7-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.08066805555555555
MiniMax-M2.7-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.0689951388888889
MiniMax-M3-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.0811798611111111
Nemotron-3-Super-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.13984305555555557
Nemotron-3-Super-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.1288451388888889
Null,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.19145277777777778
Opus-5.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.0024506944444444476
Qwen-3.5-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.06312986111111112
Qwen-3.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.10110555555555556
Qwen-3.6-27B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.14797083333333333
Qwen-3.6-27B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.15446944444444444
Qwen-3.8-27B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.08895694444444446
Qwen-3.8-27B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.11588958333333334
Qwen-3.8-Flash-Next-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.10651875
Qwen-3.8-Flash-Next-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.08829102564102564
Sonnet-5.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,-0.05943888888888888
Vanilla,0.046373611111111115,0.03135138888888889,0.030873611111111112,0.04243333333333335,0.02493819444444444,0.04265277777777778,0.06649930555555555,0.0686909722222222,-0.08841805555555556,0.07894266666666666,0.043125694444444425,0.02094305555555556,-0.0133736111111111,0.12611111111111112,0.17531041666666666,0.1209513888888889,0.08063472222222222,0.04155972222222223,-0.012979861111111105,0.0047909722222222294,0.08066805555555555,0.06899513888888888,0.0811798611111111,0.13984305555555554,0.12884513888888888,0.1914527777777778,-0.002450694444444438,0.06312986111111112,0.10110555555555556,0.14797083333333333,0.15446944444444444,0.08895694444444444,0.11588958333333332,0.10651875000000001,0.08829102564102564,0.05943888888888888,