player_type,DeepSeek-V4-Flash-Simple,DeepSeek-V4-Flash-Simple-Per-5,DeepSeek-V4.1-Flash-Simple-Per-5,GLM-5.1-Simple,GLM-5.2-Simple,GLM-5.2-Simple-Per-5,GLM-5.3-Flash-Simple,GLM-5.3-Flash-Simple-Per-5,GLM-5.3-Simple-Per-5,GPT-6-Luna-Simple,GPT-6-Luna-Simple-Per-5,GPT-6.1-Sol-Simple,GPT-6.1-Sol-Simple-Per-5,GPT-OSS-120B-Simple,GPT-OSS-120B-Simple-Per-5,Gemma-4-Simple,Gemma-4-Simple-Per-5,Kimi-K2.6-Simple,Kimi-K2.7-Simple,Kimi-K2.7-Simple-Per-5,MiniMax-M2.7-Simple,MiniMax-M2.7-Simple-Per-5,MiniMax-M3-Simple-Per-5,Nemotron-3-Super-Simple,Nemotron-3-Super-Simple-Per-5,Null,Opus-5.5-Simple-Per-5,Qwen-3.5-Simple,Qwen-3.5-Simple-Per-5,Qwen-3.6-27B-Simple,Qwen-3.6-27B-Simple-Per-5,Qwen-3.8-27B-Simple,Qwen-3.8-27B-Simple-Per-5,Qwen-3.8-Flash-Next-Simple,Qwen-3.8-Flash-Next-Simple-Per-5,Sonnet-5.5-Simple-Per-5,Vanilla
DeepSeek-V4-Flash-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4270833333333333
DeepSeek-V4-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4826388888888889
DeepSeek-V4.1-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4722222222222222
GLM-5.1-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4861111111111111
GLM-5.2-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5416666666666666
GLM-5.2-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5069444444444444
GLM-5.3-Flash-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4791666666666667
GLM-5.3-Flash-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4305555555555556
GLM-5.3-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.6666666666666666
GPT-6-Luna-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4766666666666667
GPT-6-Luna-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5208333333333334
GPT-6.1-Sol-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.53125
GPT-6.1-Sol-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.6111111111111112
GPT-OSS-120B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4027777777777778
GPT-OSS-120B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.3680555555555556
Gemma-4-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.3541666666666667
Gemma-4-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4618055555555556
Kimi-K2.6-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4965277777777778
Kimi-K2.7-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.6006944444444444
Kimi-K2.7-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5208333333333334
MiniMax-M2.7-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4722222222222222
MiniMax-M2.7-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4305555555555556
MiniMax-M3-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4340277777777778
Nemotron-3-Super-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4201388888888889
Nemotron-3-Super-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4166666666666667
Null,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.2777777777777778
Opus-5.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.6215277777777778
Qwen-3.5-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4409722222222222
Qwen-3.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4166666666666667
Qwen-3.6-27B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.3645833333333333
Qwen-3.6-27B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.2986111111111111
Qwen-3.8-27B-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5243055555555556
Qwen-3.8-27B-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4340277777777778
Qwen-3.8-Flash-Next-Simple,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4340277777777778
Qwen-3.8-Flash-Next-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.5032051282051282
Sonnet-5.5-Simple-Per-5,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,0.4930555555555556
Vanilla,0.5729166666666666,0.5173611111111112,0.5277777777777778,0.5138888888888888,0.4583333333333333,0.4930555555555556,0.5208333333333334,0.5694444444444444,0.3333333333333333,0.5233333333333333,0.4791666666666667,0.46875,0.3888888888888889,0.5972222222222222,0.6319444444444444,0.6458333333333334,0.5381944444444444,0.5034722222222222,0.3993055555555556,0.4791666666666667,0.5277777777777778,0.5694444444444444,0.5659722222222222,0.5798611111111112,0.5833333333333334,0.7222222222222222,0.3784722222222222,0.5590277777777778,0.5833333333333334,0.6354166666666666,0.7013888888888888,0.4756944444444444,0.5659722222222222,0.5659722222222222,0.4967948717948718,0.5069444444444444,