model_name,Judges,Average (ex-GPT4),Average (All),ELYZA 100 (All),JA-MT (All),Rakuda (All),Tengu (All),Average (AtheneV2),ELYZA 100 (AtheneV2),JA-MT (AtheneV2),Rakuda (AtheneV2),Tengu (AtheneV2),Average (GPT4),ELYZA 100 (GPT4),JA-MT (GPT4),Rakuda (GPT4),Tengu (GPT4),Average (GPT4.1),ELYZA 100 (GPT4.1),JA-MT (GPT4.1),Rakuda (GPT4.1),Tengu (GPT4.1),Average (GPT5.1),ELYZA 100 (GPT5.1),JA-MT (GPT5.1),Rakuda (GPT5.1),Tengu (GPT5.1),Average (Llama 3.3),ELYZA 100 (Llama 3.3),JA-MT (Llama 3.3),Rakuda (Llama 3.3),Tengu (Llama 3.3),Average (Tulu405),ELYZA 100 (Tulu405),JA-MT (Tulu405),Rakuda (Tulu405),Tengu (Tulu405),GPT4 delta,% JA gemini/gemini-2.5-pro,1,,9.546920289855073,9.3,9.633333333333333,9.95,9.304347826086957,,,,,,,,,,,9.546920289855073,9.3,9.633333333333333,9.95,9.304347826086957,,,,,,,,,,,,,,,,,0.8842587332184024 gemini/gemini-2.5-flash,1,,9.316684782608695,9.12,9.35,9.875,8.921739130434782,,,,,,,,,,,9.316684782608695,9.12,9.35,9.875,8.921739130434782,,,,,,,,,,,,,,,,,0.8692090512608802 gpt-5-mini-2025-08-07,1,,9.227699275362319,9.28,9.466666666666667,9.825,8.339130434782609,,,,,,,,,,,9.227699275362319,9.28,9.466666666666667,9.825,8.339130434782609,,,,,,,,,,,,,,,,,0.8580186344284559 gpt-4.5-preview-2025-02-27,4,9.198786931894178,9.226087119761898,9.495,8.903765690376568,9.631944444444445,8.87363834422658,8.957253703656647,9.34,8.576271186440678,9.03448275862069,8.878260869565217,,,,,,9.297445652173913,9.48,9.05,9.825,8.834782608695653,,,,,,9.231777269260107,9.34,9.033333333333333,9.68421052631579,8.869565217391305,9.380029634898056,9.82,8.95,9.837837837837839,8.912280701754385,,0.858488116972702 openrouter/quasar-alpha,3,9.209825010375283,9.211746463077986,9.413333333333334,9.011111111111111,9.419642857142858,9.002898550724638,8.936878881987578,9.1,8.85,8.971428571428572,8.826086956521738,,,,,,,,,,,,,,,,9.293442028985508,9.46,9.083333333333334,9.5,9.130434782608695,9.397232667450059,9.68,9.1,9.756756756756756,9.052173913043479,,0.866199393213567 deepseek-ai/DeepSeek-R1,4,9.217529648436042,9.177396435086653,9.21,9.1375,9.566433566433567,8.795652173913043,8.965385202135774,9.08,8.866666666666667,9.210526315789474,8.704347826086957,9.049311594202898,9.04,9.083333333333334,9.5,8.57391304347826,,,,,,,,,,,9.243786231884059,9.14,9.266666666666667,9.725,8.843478260869565,9.48355072463768,9.58,9.333333333333334,9.96,9.060869565217391,0.01858904431370297,0.8478405304698695 gpt-4o-2024-11-20,4,9.156949440745121,9.165901774215698,9.33,9.15126050420168,9.645390070921986,8.53695652173913,8.963220772465213,9.14,8.898305084745763,9.205882352941176,8.608695652173912,,,,,,9.210054347826087,9.3,9.3,9.875,8.365217391304348,,,,,,9.14438375092115,9.32,9.169491525423728,9.575,8.513043478260869,9.354291465378422,9.56,9.233333333333333,9.962962962962964,8.660869565217391,,0.8685296053172378 gpt-5-2025-08-07,1,,9.132717391304348,9.42,8.9,9.55,8.660869565217391,,,,,,,,,,,9.132717391304348,9.42,8.9,9.55,8.660869565217391,,,,,,,,,,,,,,,,,0.8143760020829113 deepseek-chat,4,9.151412401516513,9.10196775453679,9.195,9.03347280334728,9.503311258278146,8.67608695652174,8.898027382383741,9.02,8.779661016949152,9.131578947368421,8.660869565217391,8.913097826086956,9.06,8.85,9.325,8.417391304347825,,,,,,,,,,,9.240752508361204,9.16,9.233333333333333,9.743589743589743,8.826086956521738,9.364901960784312,9.54,9.266666666666667,9.852941176470589,8.8,0.026737569819109967,0.8718718450635817 gemini-3-pro-preview,1,9.074510869565216,9.074510869565216,9.26,8.75,9.175,9.11304347826087,,,,,,,,,,,,,,,,9.074510869565216,9.26,8.75,9.175,9.11304347826087,,,,,,,,,,,,0.8522384912842047 DeepSeek-V3-Q5_K_M,4,9.071739638886378,9.018159141583054,9.165,8.95,9.435897435897436,8.521739130434783,8.879774247491639,9.14,8.85,9.076923076923077,8.452173913043477,8.808623188405797,8.92,8.766666666666667,9.2,8.347826086956522,,,,,,,,,,,9.134945652173913,9.08,9.15,9.675,8.634782608695652,9.254079514296906,9.52,9.033333333333333,9.81081081081081,8.652173913043478,0.029870326480408833,0.8724354370226444 gemini-3-flash-preview,1,8.987732383808096,8.987732383808096,9.26,8.793103448275861,8.95,8.947826086956521,,,,,,,,,,,,,,,,8.987732383808096,9.26,8.793103448275861,8.95,8.947826086956521,,,,,,,,,,,,0.8578818535973342 gemini-2.5-pro,1,8.98177536231884,8.98177536231884,9.08,8.716666666666667,9.2,8.930434782608696,,,,,,,,,,,,,,,,8.98177536231884,9.08,8.716666666666667,9.2,8.930434782608696,,,,,,,,,,,,0.8686806635722424 qwen/qwen3.6-plus:free,1,8.975144927536231,8.975144927536231,8.96,8.816666666666666,9.35,8.773913043478261,,,,,,,,,,,,,,,,8.975144927536231,8.96,8.816666666666666,9.35,8.773913043478261,,,,,,,,,,,,0.8664017809852779 deepseek-ai/DeepSeek-V3-0324,3,8.975351168437776,8.971758631387669,9.22,8.677777777777777,9.238532110091743,8.75072463768116,8.729464882943144,8.96,8.4,8.923076923076923,8.634782608695652,,,,,,,,,,,,,,,,9.04536231884058,9.08,8.916666666666666,9.35,8.834782608695653,9.15481884057971,9.62,8.716666666666667,9.5,8.782608695652174,,0.816685683477937 claude-3-5-sonnet-20240620,4,8.996218765143889,8.941939970916994,9.135,8.915611814345992,9.286713286713287,8.430434782608696,8.75936624907885,8.92,8.830508474576272,9.0,8.28695652173913,8.690112443778112,8.96,8.448275862068966,9.1,8.252173913043478,,,,,,,,,,,9.007264492753622,9.12,9.116666666666667,9.375,8.417391304347825,9.276304347826088,9.54,9.25,9.55,8.765217391304347,0.03522466749954891,0.8820556081913288 gpt-4-turbo-2024-04-09,4,8.965793399874581,8.922375452898551,8.925,8.978125,9.373333333333333,8.41304347826087,8.681345108695652,8.68,8.7375,8.96875,8.339130434782609,8.731820652173912,8.78,8.7375,9.175,8.234782608695653,,,,,,,,,,,8.999074693422518,8.84,9.2,9.512820512820513,8.443478260869565,9.260378344481605,9.4,9.2375,9.76923076923077,8.634782608695652,0.026795413811255747,0.8761288852546157 Qwen/Qwen3-235B-A22B-nothink,1,,8.91945652173913,8.78,9.5,9.45,7.947826086956522,,,,,,,,,,,8.91945652173913,8.78,9.5,9.45,7.947826086956522,,,,,,,,,,,,,,,,,0.8618253322881849 gpt-4-turbo-preview,4,8.904847983754266,8.858367643130844,9.105,8.90282131661442,9.369127516778523,8.056521739130435,8.601787714097497,8.86,8.6125,9.030303030303031,7.904347826086957,8.663396739130436,8.94,8.6125,9.275,7.826086956521739,,,,,,,,,,,8.957564667033571,9.04,9.177215189873417,9.5,8.11304347826087,9.201671910755149,9.58,9.2125,9.631578947368421,8.382608695652173,0.0278702744309578,0.8753436119710156 gpt-4o-2024-05-13,4,8.888877028072718,8.853677008611946,9.01,8.845188284518828,9.379084967320262,8.180434782608696,8.626920289855073,8.72,8.683333333333334,9.0,8.104347826086956,8.700794030950627,8.88,8.694915254237289,9.15,8.078260869565218,,,,,,,,,,,8.922826086956523,9.0,9.0,9.5,8.191304347826087,9.152084726867335,9.44,9.0,9.820512820512821,8.347826086956522,0.021616762384333986,0.875099147984846 ablation-181-finaldpo2-shisa-v2-llama-3.3-70b,3,8.847940764307028,8.845071596284859,8.993333333333334,9.005586592178771,9.285714285714286,8.095652173913043,8.547302873986736,8.48,8.813559322033898,9.0,7.895652173913043,,,,,,,,,,,,,,,,9.002409420289855,9.16,9.283333333333333,9.375,8.191304347826087,8.996979166666666,9.34,8.916666666666666,9.53125,8.2,,0.8403457370465786 claude-3-opus-20240229,4,8.90595740904752,8.83646623102825,8.905,8.840336134453782,9.202702702702704,8.397826086956522,8.689555434147334,8.7,8.779661016949152,8.96551724137931,8.31304347826087,8.543741709653649,8.64,8.576271186440678,8.75,8.208695652173914,,,,,,,,,,,8.953894927536233,8.9,8.966666666666667,9.375,8.57391304347826,9.14391304347826,9.38,9.033333333333333,9.666666666666666,8.495652173913044,0.04239544121337387,0.8729342842959339 gemini-2.0-flash,3,8.815852294109966,8.825182580278488,8.746666666666666,8.772222222222222,9.480392156862745,8.30144927536232,8.576376811594203,8.52,8.533333333333333,9.0,8.252173913043478,,,,,,,,,,,,,,,,8.823260869565217,8.58,9.0,9.4,8.31304347826087,9.038588915001958,9.14,8.783333333333333,9.891891891891891,8.339130434782609,,0.8686849421051729 gemini-2.5-flash,1,8.818913043478261,8.818913043478261,9.18,8.55,9.05,8.495652173913044,,,,,,,,,,,,,,,,8.818913043478261,9.18,8.55,9.05,8.495652173913044,,,,,,,,,,,,0.8647198475665598 deepseek-ai/DeepSeek-V3,4,8.815098386741587,8.816237368476648,8.935,8.761506276150628,9.103225806451613,8.465217391304348,8.540877192982457,8.66,8.566666666666666,8.736842105263158,8.2,8.814000552689757,8.96,8.694915254237289,9.375,8.226086956521739,,,,,,,,,,,8.937952898550725,8.8,9.033333333333333,9.275,8.643478260869566,8.965326086956521,9.32,8.75,9.0,8.791304347826086,0.0001245557049000779,0.8510670368983636 ablation-150-finaldpo-shisa-v2-llama-3.3-70b,3,8.803055697905803,8.79969806763285,8.7,9.027777777777779,9.3,8.171014492753622,8.516421404682275,8.26,8.9,8.923076923076923,7.982608695652174,,,,,,,,,,,,,,,,8.872753623188405,8.62,9.116666666666667,9.45,8.304347826086957,9.023349696119682,9.22,9.066666666666666,9.580645161290322,8.226086956521739,,0.8413618629925839 Nexusflow/Athene-V2-Chat,4,8.866437346337914,8.79181167000182,8.965,8.887029288702928,9.3,8.015217391304347,8.65273765659543,8.78,8.813559322033898,9.0,8.017391304347827,8.488442028985508,8.84,8.533333333333333,9.05,7.530434782608696,,,,,,,,,,,8.965489130434783,9.0,9.2,9.375,8.28695652173913,9.055710928319625,9.24,9.0,9.756756756756756,8.226086956521739,0.04453058830603593,0.8552853882909878 openrouter/pony-alpha,1,8.719710144927536,8.719710144927536,8.96,8.666666666666666,8.8,8.452173913043477,,,,,,,,,,,,,,,,8.719710144927536,8.96,8.666666666666666,8.8,8.452173913043477,,,,,,,,,,,,0.8415111513525088 ablation-198-a194.finaldpo2.2e7-shisa-v2-qwen2.5-32b,3,8.71103741714669,8.71102323838081,8.746666666666666,8.8,9.129310344827585,8.168115942028985,8.423237986270024,8.46,8.6,8.789473684210526,7.843478260869565,,,,,,,,,,,,,,,,8.816286231884057,8.68,9.016666666666667,9.125,8.443478260869565,8.893602212051869,9.1,8.783333333333333,9.473684210526315,8.217391304347826,,0.8593747086417654 AXCXEPT/EZO-Qwen2.5-72B-Instruct,4,8.807258944926383,8.702781862745098,8.805,8.8125,9.291666666666666,7.901960784313726,8.556811594202898,8.72,8.733333333333333,9.0,7.773913043478261,8.268728070175438,8.56,8.433333333333334,8.95,7.131578947368421,,,,,,,,,,,8.87393115942029,8.72,8.983333333333333,9.375,8.417391304347825,9.09551116333725,9.22,9.1,9.783783783783784,8.278260869565218,0.065128623190957,0.8731435222665673 Qwen/Qwen2.5-72B-Instruct,4,8.773958366925687,8.686211384439359,8.93,8.6875,9.144736842105264,7.982608695652174,8.518742236024845,8.62,8.65,8.857142857142858,7.947826086956522,8.331630434782609,8.82,8.25,8.9,7.356521739130435,,,,,,,,,,,8.884945652173913,8.88,9.05,9.375,8.234782608695653,9.005934195064631,9.4,8.8,9.432432432432432,8.391304347826088,0.05309020072427388,0.8538055633517283 gemini-1.5-pro,4,8.714658006908266,8.685584485476927,8.655,8.882845188284518,9.306666666666667,7.897826086956521,8.446340579710146,8.36,8.616666666666667,9.0,7.808695652173913,8.573985507246377,8.58,8.933333333333334,9.2,7.582608695652174,,,,,,,,,,,8.728092299189388,8.48,9.05084745762712,9.425,7.956521739130435,8.998614663256607,9.2,8.933333333333334,9.617647058823529,8.243478260869566,0.016406897299161345,0.8794178033209544 ablation-149-finalsft-shisa-v2-llama-3.3-70b,3,8.66014019204546,8.662711370512259,8.633333333333333,8.780898876404494,9.210526315789474,8.02608695652174,8.33191404297851,8.24,8.586206896551724,8.666666666666666,7.834782608695652,,,,,,,,,,,,,,,,8.744221014492753,8.52,8.966666666666667,9.325,8.165217391304347,8.901714340198321,9.14,8.783333333333333,9.605263157894736,8.078260869565218,,0.8621228342652009 abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1,3,8.649504143355516,8.656885866443899,8.646666666666667,8.782122905027933,9.065420560747663,8.133333333333333,8.265051584377304,8.2,8.525423728813559,8.5,7.834782608695652,,,,,,,,,,,,,,,,8.719746376811594,8.5,8.933333333333334,9.15,8.295652173913043,8.956332745789268,9.24,8.883333333333333,9.432432432432432,8.269565217391305,,0.8691982451217096 DeepSeek-V3-Q2_K_XS,4,8.728018957944965,8.656725962415619,8.66,8.655462184873949,9.289655172413793,8.021786492374728,8.454661463567138,8.38,8.508474576271187,9.06060606060606,7.869565217391305,8.375228590544157,8.4,8.186440677966102,9.125,7.7894736842105265,,,,,,,,,,,8.805,8.72,8.966666666666667,9.333333333333334,8.2,8.995688405797102,9.14,8.95,9.666666666666666,8.226086956521739,0.04212307324950108,0.8748643555154638 ablation-166-finaldpo.9e7-shisa-v2-unphi-4-14b,3,8.649999137336094,8.644106280193236,8.56,8.922222222222222,9.1,7.994202898550725,8.343172877846792,8.22,8.716666666666667,8.714285714285714,7.721739130434782,,,,,,,,,,,,,,,,8.713478260869564,8.38,9.1,9.2,8.173913043478262,8.899239130434783,9.08,8.95,9.48,8.08695652173913,,0.8339152155261876 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8,3,8.63264989711509,8.636009949918009,8.54,8.805555555555555,9.137614678899082,8.060869565217391,8.324873772791022,8.08,8.5,8.806451612903226,7.913043478260869,,,,,,,,,,,,,,,,8.622644927536232,8.5,9.016666666666667,9.0,7.973913043478261,8.947070938215102,9.04,8.9,9.552631578947368,8.295652173913043,,0.8475447996573002 ablation-113-newmix,3,8.63628388169358,8.63500593790026,8.568561872909699,8.798882681564246,9.256637168141593,7.915942028985508,8.325436741088915,8.12,8.533333333333333,8.891891891891891,7.756521739130434,,,,,,,,,,,,,,,,8.672083333333333,8.48,8.983333333333333,9.225,8.0,8.912609514451812,9.11111111111111,8.88135593220339,9.666666666666666,7.991304347826087,,0.8686956646914528 ablation-197-a194.finaldpo2.4e7-shisa-v2-qwen2.5-32b,3,8.631584979903772,8.632084726867337,8.593333333333334,8.877777777777778,9.042735042735043,8.014492753623188,8.371948893974066,8.3,8.633333333333333,8.763157894736842,7.791304347826087,,,,,,,,,,,,,,,,8.695199275362318,8.4,8.966666666666667,9.075,8.339130434782609,8.82710702341137,9.08,9.033333333333333,9.282051282051283,7.913043478260869,,0.8556563640131615 ablation-167-finaldpo.3e7-shisa-v2-unphi-4-14b,3,8.622695754760972,8.619944789510006,8.6,8.88888888888889,9.028571428571428,7.9623188405797105,8.300439678809244,8.18,8.683333333333334,8.72972972972973,7.608695652173913,,,,,,,,,,,,,,,,8.767499999999998,8.62,9.1,9.15,8.2,8.802898550724638,9.0,8.883333333333333,9.25,8.078260869565218,,0.8448588877760288 nvidia_nim/nvidia/nemotron-4-340b-instruct,4,8.711729269858743,8.61543157218859,8.97,8.70042194092827,9.1,7.691304347826087,8.444927536231884,8.8,8.466666666666667,9.0,7.51304347826087,8.215783752860412,8.72,8.210526315789474,8.55,7.3826086956521735,,,,,,,,,,,8.75641304347826,8.98,8.983333333333333,9.166666666666666,7.895652173913043,9.030144927536233,9.38,9.116666666666667,9.65,7.973913043478261,0.06036496722855716,0.8599950522126818 ablation-180-finalsft2-shisa-v2-llama-3.3-70b,3,8.597404228584601,8.595070902298252,8.573333333333334,8.810055865921788,9.214285714285714,7.782608695652174,8.261821161230268,8.28,8.508474576271187,8.763157894736842,7.495652173913044,,,,,,,,,,,,,,,,8.676503623188406,8.46,9.066666666666666,9.275,7.904347826086957,8.856221227621484,8.98,8.85,9.647058823529411,7.947826086956522,,0.864761244269649 nvidia/Llama-3.1-Nemotron-70B-Instruct-HF,4,8.70687744892485,8.592607800433552,8.766917293233083,8.768907563025211,8.932432432432432,7.9021739130434785,8.382939081306803,8.48,8.627118644067796,8.633333333333333,7.791304347826087,8.124728260869565,8.6,8.35,8.175,7.373913043478261,,,,,,,,,,,8.900551712779974,8.909090909090908,9.083333333333334,9.375,8.234782608695653,8.951411201179072,9.08,9.016949152542374,9.5,8.208695652173914,0.07165152720972096,0.8802830503800353 gpt-4o-mini,4,8.653899477378726,8.568403722175947,8.436090225563909,8.645569620253164,9.27891156462585,7.913043478260869,8.392635557562935,8.2,8.559322033898304,8.96774193548387,7.843478260869565,8.21744940029985,8.24,7.948275862068965,8.925,7.756521739130434,,,,,,,,,,,8.675507246376812,8.26,9.033333333333333,9.4,8.008695652173913,8.97905138339921,9.05050505050505,9.016666666666667,9.805555555555555,8.043478260869565,0.053112596843364765,0.8794414314313008 ablation-165-finaldpo.5e7-shisa-v2-unphi-4-14b,3,8.56011289799795,8.559061840439004,8.646666666666667,8.783333333333333,8.893203883495145,7.913043478260869,8.227541407867495,8.32,8.483333333333333,8.428571428571429,7.678260869565217,,,,,,,,,,,,,,,,8.701684782608696,8.56,9.0,9.125,8.121739130434783,8.752163561076605,9.06,8.866666666666667,9.142857142857142,7.939130434782609,,0.8421550798273821 cyberagent/Llama-3.1-70B-Japanese-Instruct-2407,4,8.642695263050843,8.539932614759564,8.805,8.430962343096235,8.993333333333334,7.930434782608696,8.305037400654511,8.6,8.233333333333333,8.612903225806452,7.773913043478261,8.108599852616065,8.44,7.88135593220339,8.6,7.51304347826087,,,,,,,,,,,8.750144927536233,8.86,8.816666666666666,9.15,8.173913043478262,8.975666109253066,9.32,8.783333333333333,9.538461538461538,8.26086956521739,0.06586777250605899,0.8805736801231959 qwen/qwen3.5-397b-a17b,1,8.538659420289855,8.538659420289855,8.88,8.733333333333333,8.95,7.591304347826087,,,,,,,,,,,,,,,,8.538659420289855,8.88,8.733333333333333,8.95,7.591304347826087,,,,,,,,,,,,0.7801233946173571 shisa-ai/chotto-14b-20250922-W8A8-INT8-smooth,1,,8.534528985507245,8.42,8.933333333333334,9.15,7.6347826086956525,,,,,,,,,,,8.534528985507245,8.42,8.933333333333334,9.15,7.6347826086956525,,,,,,,,,,,,,,,,,0.8802747006382777 ablation-194-finalsft2-shisa-v2-qwen2.5-32b,3,8.526012915859884,8.52667502787068,8.613333333333333,8.63888888888889,9.034188034188034,7.820289855072463,8.237181540808542,8.38,8.266666666666667,8.736842105263158,7.565217391304348,,,,,,,,,,,,,,,,8.666485507246376,8.6,8.933333333333334,9.15,7.982608695652174,8.673709587513935,8.86,8.716666666666667,9.205128205128204,7.913043478260869,,0.8602859456852788 deepseek/deepseek-chat,4,8.600478333521137,8.52371857996588,8.645,8.614406779661017,9.150684931506849,7.684782608695652,8.348349436392914,8.4,8.5,8.962962962962964,7.530434782608696,8.198990683229814,8.4,8.303571428571429,8.675,7.417391304347826,,,,,,,,,,,8.663097826086956,8.56,8.95,9.325,7.817391304347826,8.866747491638797,9.22,8.683333333333334,9.58974358974359,7.973913043478261,0.048967935908565415,0.8662238072278422 Llama-3.1-Tulu-3-405B-FP8-Dynamic,4,8.586745930355413,8.520897718370543,8.39,8.704166666666667,9.195945945945946,7.793478260869565,8.314601449275363,8.12,8.55,8.866666666666667,7.721739130434782,8.24269927536232,8.14,8.466666666666667,8.825,7.539130434782609,,,,,,,,,,,8.680670289855072,8.46,8.983333333333333,9.375,7.904347826086957,8.83081426392067,8.84,8.816666666666666,9.657894736842104,8.008695652173913,0.041739561701766695,0.8827448557131652 ablation-186-finaldpo2-shisa-v2-unphi-4-14b,3,8.507046891974666,8.512153052261747,8.52,8.805555555555555,8.963636363636363,7.759420289855073,8.191594202898552,8.22,8.533333333333333,8.5,7.51304347826087,,,,,,,,,,,,,,,,8.646829710144928,8.5,9.066666666666666,9.125,7.895652173913043,8.67761060259344,8.84,8.816666666666666,9.18421052631579,7.869565217391305,,0.8467047721280933 mistralai/Mistral-Small-3.1-24B-Instruct-2503,3,8.509828158362149,8.5098784082535,8.56,8.633333333333333,9.11864406779661,7.727536231884058,8.18147435897436,8.24,8.316666666666666,8.76923076923077,7.4,,,,,,,,,,,,,,,,8.584637681159421,8.34,8.883333333333333,9.15,7.965217391304348,8.763322185061316,9.1,8.7,9.435897435897436,7.817391304347826,,0.8609112072026762 gpt-5-nano-2025-08-07,1,,8.509329710144929,8.9,8.766666666666667,8.875,7.495652173913044,,,,,,,,,,,8.509329710144929,8.9,8.766666666666667,8.875,7.495652173913044,,,,,,,,,,,,,,,,,0.8051238482190536 ablation-162-finaldpo-shisa-v2-unphi-4-14b,3,8.499563623272863,8.494082125603866,8.333333333333334,8.766666666666667,9.11111111111111,7.765217391304348,8.188270750988142,7.96,8.583333333333334,8.757575757575758,7.452173913043478,,,,,,,,,,,,,,,,8.545489130434783,8.12,9.05,9.125,7.886956521739131,8.77041248606466,8.92,8.666666666666666,9.538461538461538,7.956521739130435,,0.8363441479093098 mistral/mistral-large-latest,4,8.554162089710378,8.48915217272404,8.43,8.778242677824268,9.248366013071895,7.5,8.222753623188407,8.22,8.566666666666666,9.0,7.104347826086957,8.224522844509949,8.28,8.389830508474576,8.95,7.278260869565218,,,,,,,,,,,8.626304347826087,8.24,9.1,9.4,7.765217391304348,8.878438215102975,8.98,9.05,9.631578947368421,7.852173913043479,0.04008004493786173,0.7621444760071017 allenai/Llama-3.1-Tulu-3-70B,4,8.551774971342983,8.482808122612335,8.255,8.774058577405858,9.130434782608695,7.771739130434782,8.273827715936857,8.0,8.627118644067796,8.842105263157896,7.626086956521739,8.169112318840579,8.1,8.566666666666666,8.575,7.434782608695652,,,,,,,,,,,8.603851727982162,8.16,9.033333333333333,9.23076923076923,7.991304347826087,8.84661231884058,8.76,8.866666666666667,9.725,8.034782608695652,0.046842623478179114,0.8773461718598211 ablation-183-a177.finaldpo2.4.5e7-shisa-v2-mistral-nemo-12b,3,8.458815656047761,8.466077841582353,8.326666666666666,8.755555555555556,9.141509433962264,7.6405797101449275,8.073442028985507,7.88,8.516666666666667,8.566666666666666,7.3304347826086955,,,,,,,,,,,,,,,,8.623351449275361,8.28,8.966666666666667,9.325,7.921739130434783,8.672391304347824,8.82,8.783333333333333,9.416666666666666,7.6695652173913045,,0.8464538128566209 google/gemma-3-12b-it,3,8.461037715175665,8.463731449196295,8.341137123745819,8.672222222222222,9.02127659574468,7.820289855072463,8.122065217391304,8.06,8.35,8.6,7.478260869565218,,,,,,,,,,,,,,,,8.615688405797101,8.22,8.966666666666667,9.25,8.02608695652174,8.642665788317963,8.747474747474747,8.7,9.166666666666666,7.956521739130435,,0.8503211729261896 ablation-112-bestofn.atlo.rp.tlx25-shisa-v2-llama-3.3-70b,3,8.454683348429953,8.460108695652174,8.36,8.78888888888889,9.027777777777779,7.663768115942029,7.984488224637682,7.9,8.433333333333334,8.34375,7.260869565217392,,,,,,,,,,,,,,,,8.548351449275362,8.08,9.066666666666666,9.125,7.921739130434783,8.825785024154591,9.1,8.866666666666667,9.527777777777779,7.808695652173913,,0.8718222314578886 ablation-182-a177.finaldpo2.6.5e7-shisa-v2-mistral-nemo-12b,3,8.435360981196979,8.432176700111482,8.207357859531772,8.583333333333334,9.23076923076923,7.707246376811594,8.08059462915601,7.7,8.35,8.794117647058824,7.478260869565218,,,,,,,,,,,,,,,,8.470520421607379,8.121212121212121,8.65,9.25,7.860869565217391,8.758152173913043,8.8,8.75,9.7,7.782608695652174,,0.8526549044627656 ablation-153-finalsft-shisa-v2-unphi-4-14b,3,8.429059709047378,8.431415048252234,8.334448160535118,8.575418994413408,9.018691588785046,7.797101449275362,8.103785924834193,8.0,8.169491525423728,8.75,7.495652173913044,,,,,,,,,,,,,,,,8.561956521739132,8.3,8.9,9.1,7.947826086956522,8.61908134136395,8.707070707070708,8.65,9.17142857142857,7.947826086956522,,0.8616449794554013 google/gemma-4-31B-it,1,8.419746376811595,8.419746376811595,8.7,8.283333333333333,8.6,8.095652173913043,,,,,,,,,,,,,,,,8.419746376811595,8.7,8.283333333333333,8.6,8.095652173913043,,,,,,,,,,,,0.8377345526598551 tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3,4,8.457494360969026,8.416253019323673,8.16,8.679166666666667,9.13888888888889,7.6869565217391305,8.178996163682864,7.9,8.45,8.852941176470589,7.51304347826087,8.261050724637682,8.0,8.483333333333333,9.1,7.460869565217391,,,,,,,,,,,8.523061594202899,8.16,8.983333333333333,9.175,7.773913043478261,8.711666666666668,8.58,8.8,9.466666666666667,8.0,0.02377949765463512,0.8777384364085808 gemini-1.5-flash,4,8.48649500770448,8.412593390804597,8.51,8.654166666666667,9.186206896551724,7.3,8.192976011994002,8.38,8.4,8.931034482758621,7.060869565217391,8.11284420289855,8.28,8.433333333333334,8.825,6.913043478260869,,,,,,,,,,,8.463695652173914,8.32,8.85,9.25,7.434782608695652,8.87671497584541,9.06,8.933333333333334,9.722222222222221,7.791304347826087,0.04605669669737184,0.8730280393103704 meta-llama/Llama-3.1-405B-Instruct-FP8,3,8.397860744169382,8.40908981115503,8.52,8.416666666666666,9.070707070707071,7.628985507246377,8.00355072463768,8.12,7.966666666666667,8.666666666666666,7.260869565217392,,,,,,,,,,,,,,,,8.475434782608696,8.38,8.75,9.05,7.721739130434782,8.703367658276125,9.06,8.533333333333333,9.31578947368421,7.904347826086957,,0.870213292039887 global_step4000_hf,1,,8.399764492753624,8.54,8.466666666666667,8.975,7.6173913043478265,,,,,,,,,,,8.399764492753624,8.54,8.466666666666667,8.975,7.6173913043478265,,,,,,,,,,,,,,,,,0.8931051741477088 ablation-73-rafathenev2.rp.tl.unphi42e6-shisa-v2-unphi-4-14b,3,8.387520055175527,8.391200043917435,8.633333333333333,8.46111111111111,8.618181818181819,7.852173913043479,7.97633631713555,8.24,8.05,8.058823529411764,7.556521739130435,,,,,,,,,,,,,,,,8.565408085430969,8.6,8.766666666666667,8.921052631578947,7.973913043478261,8.617135774218154,9.06,8.566666666666666,8.81578947368421,8.02608695652174,,0.8661030162499286 moonshotai/Kimi-K2-Instruct-0905,2,8.086271453496654,8.385100018268176,8.6,8.369747899159664,8.775,7.7956521739130435,,,,,,,,,,,8.979239130434783,8.88,9.2,9.55,8.28695652173913,7.7874428887251295,8.32,7.52542372881356,8.0,7.304347826086956,,,,,,,,,,,,0.8167465500142008 ablation-122-a114.dpo.armorm.rp-shisa-v2-unphi-4-14b,3,8.379713563386156,8.378134556574924,8.133333333333333,8.8,9.045871559633028,7.533333333333333,7.933514492753623,7.7,8.433333333333334,8.583333333333334,7.017391304347826,,,,,,,,,,,,,,,,8.491938405797102,8.0,9.016666666666667,9.125,7.826086956521739,8.715266798418972,8.7,8.95,9.454545454545455,7.756521739130434,,0.842102883537192 ablation-94-a85.dpo.armorm.rp-shisa-v2-mistral-nemo-japanese-12b,3,8.36559152491897,8.364279907894037,8.214046822742475,8.71111111111111,9.169642857142858,7.36231884057971,7.906329808068939,7.68,8.333333333333334,8.594594594594595,7.017391304347826,,,,,,,,,,,,,,,,8.449891304347826,8.08,8.95,9.3,7.469565217391304,8.741865079365079,8.88888888888889,8.85,9.628571428571428,7.6,,0.8459937858944128 meta-llama/Llama-4-Scout-17B-16E-Instruct,3,8.347912014155497,8.361396380707085,8.073333333333334,8.541899441340782,8.943396226415095,7.886956521739131,7.989354240017468,7.8,8.23728813559322,8.25925925925926,7.660869565217391,,,,,,,,,,,,,,,,8.370579710144927,7.82,8.816666666666666,8.95,7.895652173913043,8.670317725752508,8.6,8.566666666666666,9.41025641025641,8.104347826086956,,0.82930106627981 Qwen/Qwen3-30B-A3B-nothink,1,,8.361141304347827,8.3,8.8,8.875,7.469565217391304,,,,,,,,,,,8.361141304347827,8.3,8.8,8.875,7.469565217391304,,,,,,,,,,,,,,,,,0.8678112288545459 shisa-ai/shisa-v2-llama3.3-70b-W8A8-INT8,1,,8.349673913043478,8.34,8.6,8.85,7.608695652173913,,,,,,,,,,,8.349673913043478,8.34,8.6,8.85,7.608695652173913,,,,,,,,,,,,,,,,,0.8866947003882003 Qwen/Qwen3-30B-A3B-FP8,1,,8.348297101449276,8.52,8.666666666666666,8.85,7.356521739130435,,,,,,,,,,,8.348297101449276,8.52,8.666666666666666,8.85,7.356521739130435,,,,,,,,,,,,,,,,,0.28545551509914086 ablation-68-a53.dpo.armorm-ablation-53-nemo-12b,3,8.351588164251208,8.347123878536921,8.12,8.53888888888889,9.057142857142857,7.672463768115942,8.017634575569357,7.74,8.283333333333333,8.742857142857142,7.304347826086956,,,,,,,,,,,,,,,,8.442753623188405,8.1,8.766666666666667,9.0,7.904347826086957,8.598840579710146,8.52,8.566666666666666,9.5,7.808695652173913,,0.8554714894354236 phi-4,4,8.459054414659034,8.342780417046722,8.31,8.429166666666667,8.958041958041958,7.673913043478261,8.14243156199678,8.1,8.233333333333333,8.74074074074074,7.495652173913044,7.865872352285395,8.1,7.916666666666667,8.307692307692308,7.139130434782609,,,,,,,,,,,8.604094202898551,8.42,8.833333333333334,9.25,7.913043478260869,8.746911476694084,8.62,8.733333333333333,9.486486486486486,8.147826086956522,0.07541211397885103,0.8743819587577966 073-qwen3-30b-a3b-v2new-sft.8xMI300X.dsz3,1,,8.330869565217391,8.48,8.7,8.7,7.443478260869565,,,,,,,,,,,8.330869565217391,8.48,8.7,8.7,7.443478260869565,,,,,,,,,,,,,,,,,0.8792782525077959 ablation-54-nemojp-shisa-v2-mistral-nemo-japanese-12b,3,8.312945972475415,8.317387256092625,8.266666666666667,8.692737430167599,9.0,7.310144927536232,7.917832624147193,7.78,8.423728813559322,8.580645161290322,6.886956521739131,,,,,,,,,,,,,,,,8.403894927536232,8.1,8.866666666666667,9.075,7.573913043478261,8.612669082125604,8.92,8.783333333333333,9.277777777777779,7.469565217391304,,0.8591096176482814 ablation-185-a178.finaldpo2.4.5e7-shisa-v2-mistral-nemo-japanese-12b,3,8.314590002490897,8.316856149059161,8.08,8.569832402234637,9.168316831683168,7.449275362318841,7.98746868091378,7.84,8.288135593220339,8.7,7.121739130434783,,,,,,,,,,,,,,,,8.369692028985506,7.94,8.783333333333333,9.225,7.530434782608696,8.584343151005143,8.46,8.633333333333333,9.548387096774194,7.695652173913044,,0.8602208860793766 shisa-ai/shisa-v2-llama3.1-405b,2,8.02101902173913,8.312635869565216,8.75,8.4,8.5875,7.51304347826087,,,,,,,,,,,8.895869565217392,8.94,9.2,9.6,7.843478260869565,7.729402173913043,8.56,7.6,7.575,7.182608695652174,,,,,,,,,,,,0.8810395141883384 096-qwen3-30b-a3b-v2.1-dpo,1,,8.30766304347826,8.16,8.85,8.925,7.2956521739130435,,,,,,,,,,,8.30766304347826,8.16,8.85,8.925,7.2956521739130435,,,,,,,,,,,,,,,,,0.875006264209134 ablation-184-a178.finaldpo2.6.5e7-shisa-v2-mistral-nemo-japanese-12b,3,8.306528321128193,8.305691508221425,8.206666666666667,8.505555555555556,9.174311926605505,7.336231884057971,7.9289975845410625,7.78,8.2,8.805555555555555,6.930434782608696,,,,,,,,,,,,,,,,8.393960423634336,8.14,8.683333333333334,9.23076923076923,7.521739130434782,8.597463768115942,8.7,8.633333333333333,9.5,7.556521739130435,,0.8543275685755451 ablation-115-bestofn.atlo.rp.tlx.newmix2-shisa-v2-mistral-nemo-12b,3,8.302815764021606,8.301214630779848,8.026666666666667,8.61111111111111,9.071428571428571,7.495652173913044,7.938455615942029,7.48,8.433333333333334,8.71875,7.121739130434783,,,,,,,,,,,,,,,,8.380090579710144,8.02,8.716666666666667,9.175,7.608695652173913,8.591502229654404,8.58,8.683333333333334,9.346153846153847,7.756521739130434,,0.8539880515729252 microsoft/phi-4,4,8.410999437634302,8.29891761052247,8.375,8.436974789915967,8.875,7.508695652173913,8.05891304347826,8.24,8.2,8.5,7.2956521739130435,7.84179347826087,8.04,7.8,8.275,7.252173913043478,,,,,,,,,,,8.518764738393516,8.34,8.864406779661017,9.175,7.695652173913044,8.767402358142963,8.88,8.898305084745763,9.5,7.791304347826087,0.07258619612355173,0.8724898643471547 Qwen/Qwen2.5-32B-Instruct,4,8.35624398738131,8.288526674162918,8.53,8.554166666666667,8.406896551724138,7.663043478260869,7.926159420289855,8.22,8.333333333333334,7.76,7.391304347826087,7.9570108695652175,8.34,8.3,7.875,7.3130434782608695,,,,,,,,,,,8.50018115942029,8.4,8.883333333333333,8.7,8.017391304347827,8.710108695652174,9.16,8.7,9.05,7.930434782608696,0.05017375549191719,0.8757561205017774 ablation-190-a175.finaldpo2.7.2e7-shisa-v2-llama-3.1-8b,3,8.282428656423221,8.28510320597277,7.86,8.511111111111111,9.227272727272727,7.542028985507247,7.889693675889328,7.44,8.183333333333334,8.848484848484848,7.086956521739131,,,,,,,,,,,,,,,,8.42159420289855,7.64,8.883333333333333,9.25,7.913043478260869,8.533323540932237,8.5,8.466666666666667,9.54054054054054,7.626086956521739,,0.8396376020974305 ablation-85-bestofn.atlo.rp.tl-shisa-v2-mistral-nemo-12b,3,8.269194918909593,8.274251207729469,8.006666666666666,8.655555555555555,9.104347826086956,7.3304347826086955,7.811821946169773,7.48,8.266666666666667,8.457142857142857,7.043478260869565,,,,,,,,,,,,,,,,8.347771739130435,7.94,8.8,9.225,7.426086956521739,8.642934782608696,8.6,8.9,9.55,7.521739130434782,,0.8486898185888665 ablation-114-bestofn.atlo.rp.tlx.newmix2.unphi-shisa-v2-unphi-4-14b,3,8.266806913049884,8.27396088814567,8.34,8.327777777777778,8.990384615384615,7.43768115942029,7.879820089955022,7.98,7.9,8.482758620689655,7.156521739130435,,,,,,,,,,,,,,,,8.399183389074693,8.16,8.683333333333334,9.179487179487179,7.573913043478261,8.514263285024155,8.88,8.4,9.194444444444445,7.582608695652174,,0.8598263053282532 Qwen/Qwen3-235B-A22B-Instruct-2507,1,8.267717391304348,8.267717391304348,8.86,8.1,8.45,7.660869565217391,,,,,,,,,,,,,,,,8.267717391304348,8.86,8.1,8.45,7.660869565217391,,,,,,,,,,,,0.8254155309184744 ablation-177-finalsft2-shisa-v2-mistral-nemo-12b,3,8.27147284619169,8.266051442100732,7.9,8.55,9.188118811881187,7.426086956521739,7.9067546583850925,7.5,8.25,8.685714285714285,7.191304347826087,,,,,,,,,,,,,,,,8.344166666666668,7.66,8.766666666666667,9.35,7.6,8.568918617614269,8.54,8.633333333333333,9.615384615384615,7.48695652173913,,0.8445310538238171 Qwen/Qwen2.5-14B-Instruct,3,8.252270747066943,8.2641011042098,8.153333333333334,8.63888888888889,8.704761904761904,7.559420289855073,7.803333333333333,7.58,8.233333333333333,8.2,7.2,,,,,,,,,,,,,,,,8.360126811594203,8.08,8.933333333333334,8.775,7.6521739130434785,8.581521739130435,8.8,8.75,8.95,7.826086956521739,,0.865914727835413 ablation-151-finalsft-shisa-v2-mistral-nemo-12b,3,8.269195443353052,8.262618914901523,8.013333333333334,8.661111111111111,8.961538461538462,7.414492753623189,7.854593615354485,7.62,8.383333333333333,8.432432432432432,6.982608695652174,,,,,,,,,,,,,,,,8.379384057971015,7.84,8.866666666666667,9.15,7.660869565217391,8.580185185185185,8.58,8.733333333333333,9.407407407407407,7.6,,0.8584796458533516 095-qwen3-30b-a3b-v2.1-sft,1,,8.25925724637681,8.22,8.633333333333333,8.775,7.408695652173913,,,,,,,,,,,8.25925724637681,8.22,8.633333333333333,8.775,7.408695652173913,,,,,,,,,,,,,,,,,0.8471297399110199 ablation-179-finalsft2-shisa-v2-unphi-4-14b,3,8.248504573120247,8.253095669427191,8.286666666666667,8.438888888888888,8.883928571428571,7.402898550724638,7.808239556692242,7.82,8.066666666666666,8.294117647058824,7.052173913043478,,,,,,,,,,,,,,,,8.419710144927537,8.26,8.866666666666667,9.1,7.452173913043478,8.51297292143402,8.78,8.383333333333333,9.18421052631579,7.7043478260869565,,0.8548660754835351 ablation-87-bestofn.atlo.rp.tl.unphi42e6-shisa-v2-unphi-4-14b,3,8.246913472901209,8.253008344312692,8.333333333333334,8.344444444444445,8.754545454545454,7.579710144927536,7.8216440217391305,8.02,7.9,8.21875,7.147826086956521,,,,,,,,,,,,,,,,8.43,8.32,8.6,9.0,7.8,8.483001525553012,8.66,8.533333333333333,8.947368421052632,7.791304347826087,,0.8683903119527211 ablation-152-finalsft-shisa-v2-mistral-nemo-japanese-12b,3,8.251291789984222,8.251434081066344,8.093645484949834,8.522222222222222,9.271028037383177,7.118840579710145,7.919507672634271,7.86,8.25,8.794117647058824,6.773913043478261,,,,,,,,,,,,,,,,8.320199275362318,7.8,8.766666666666667,9.375,7.339130434782609,8.514026130873958,8.626262626262626,8.55,9.636363636363637,7.243478260869566,,0.8507640608132695 Mistral-Nemo-Japanese-Instruct-2408-GPTQ-w4a16-gs128,4,8.363995494466282,8.247042365560961,8.12,8.60593220338983,8.947019867549669,7.315217391304348,8.11265756102212,8.02,8.491228070175438,8.84375,7.095652173913043,7.77221536477524,7.88,8.11864406779661,8.125,6.965217391304348,,,,,,,,,,,8.38023132664437,7.96,8.816666666666666,9.205128205128204,7.539130434782609,8.71605072463768,8.62,8.983333333333333,9.6,7.660869565217391,0.07614046985536088,0.8674412595011864 ablation-178-finalsft2-shisa-v2-mistral-nemo-japanese-12b,3,8.239004619858354,8.243373551897191,7.986666666666666,8.438888888888888,9.223300970873787,7.3246376811594205,7.966642512077295,7.74,8.133333333333333,8.88888888888889,7.104347826086957,,,,,,,,,,,,,,,,8.25840579710145,7.68,8.766666666666667,9.1,7.48695652173913,8.487596618357486,8.54,8.416666666666666,9.61111111111111,7.3826086956521735,,0.8536499580638699 ablation-111-a106.dpo.armorm.rp-shisa-v2-llama-3.1-8b,3,8.225715459404583,8.231774945586688,7.913333333333333,8.541899441340782,9.22549019607843,7.246376811594203,7.774586562650878,7.34,8.389830508474576,8.620689655172415,6.747826086956522,,,,,,,,,,,,,,,,8.304800724637682,7.8,8.633333333333333,9.325,7.460869565217391,8.591699604743082,8.6,8.6,9.636363636363637,7.530434782608696,,0.8581894906344283 ablation-86-bestofn.atlo.rp.tl-shisa-v2-mistral-nemo-12b-5e6,3,8.225403582930756,8.229223027375202,7.973333333333334,8.494444444444444,9.092592592592593,7.356521739130435,7.750271739130435,7.5,8.05,8.625,6.826086956521739,,,,,,,,,,,,,,,,8.320235507246377,7.84,8.683333333333334,9.175,7.582608695652174,8.601884057971013,8.58,8.75,9.416666666666666,7.660869565217391,,0.8505980166490538 ablation-146-a128.dpo.armorm.rp.tl.1e6-shisa-v2-llama-3.1-8b,3,8.228096504155353,8.229098621909799,7.82,8.402234636871508,9.178217821782178,7.515942028985507,7.8259323222478425,7.34,8.067796610169491,8.774193548387096,7.121739130434783,,,,,,,,,,,,,,,,8.407246376811594,7.9,8.783333333333333,9.25,7.695652173913044,8.450108695652174,8.22,8.35,9.5,7.730434782608696,,0.8467924346374099 ablation-192-a175.finaldpo2.8e7-shisa-v2-llama-3.1-8b,3,8.222394779199792,8.224283176448875,7.8133333333333335,8.577777777777778,9.133928571428571,7.372093023255814,7.852857142857143,7.34,8.3,8.771428571428572,7.0,,,,,,,,,,,,,,,,8.323713768115944,7.68,8.833333333333334,9.225,7.556521739130435,8.488725029377203,8.42,8.6,9.378378378378379,7.556521739130435,,0.8323460360604001 ablation-53-rafathenev2.rp-shisa-v2-mistral-nemo-12b,3,8.221639969064041,8.22377250768555,8.06,8.411111111111111,9.018181818181818,7.405797101449275,7.81731031543052,7.64,8.133333333333333,8.617647058823529,6.878260869565217,,,,,,,,,,,,,,,,8.379728260869564,8.02,8.6,9.125,7.773913043478261,8.465748792270531,8.52,8.5,9.277777777777779,7.565217391304348,,0.8407216095810595 ablation-66-a55.dpo.armorm-shisa-v2-llama-3.1-8b,3,8.211896074578224,8.220413679077055,7.953020134228188,8.572222222222223,8.924528301886792,7.431884057971015,7.785471014492753,7.56,8.416666666666666,8.2,6.965217391304348,,,,,,,,,,,,,,,,8.379819938515592,7.898989898989899,8.833333333333334,9.1,7.6869565217391305,8.461879666227492,8.404040404040405,8.466666666666667,9.333333333333334,7.643478260869565,,0.870356442246207 ablation-193-a175.finaldpo2.8e7-shisa-v2-qwen2.5-7b,3,8.219301529499612,8.217901093312992,7.806666666666667,8.488888888888889,8.912280701754385,7.663768115942029,7.829400780379041,7.32,8.25,8.512820512820513,7.234782608695652,,,,,,,,,,,,,,,,8.41157608695652,7.88,8.7,9.075,7.991304347826087,8.418328157349897,8.22,8.516666666666667,9.17142857142857,7.765217391304348,,0.8465031748966229 Mistral-Nemo-Japanese-Instruct-2408-GPTQ-w4a16-gs32,4,8.321737474077299,8.215422708775147,8.11,8.556485355648535,8.945205479452055,7.25,7.987230848861284,7.96,8.283333333333333,8.714285714285714,6.991304347826087,7.779202284450996,7.88,8.338983050847459,8.15,6.747826086956522,,,,,,,,,,,8.429311594202899,8.06,8.733333333333333,9.35,7.573913043478261,8.654984744469871,8.54,8.866666666666667,9.526315789473685,7.6869565217391305,0.06974175111896985,0.8682627379477563 google/gemma-4-26B-A4B-it,1,8.214825902726602,8.214825902726602,8.5,8.101694915254237,8.675,7.582608695652174,,,,,,,,,,,,,,,,8.214825902726602,8.5,8.101694915254237,8.675,7.582608695652174,,,,,,,,,,,,0.8377517860806792 claude-3-sonnet-20240229,4,8.302189876254879,8.208188156078602,8.25563909774436,8.35,8.659722222222221,7.567391304347826,7.9499470457079155,7.98,8.283333333333333,8.153846153846153,7.3826086956521735,7.7855845241714805,8.121212121212121,7.683333333333334,8.076923076923077,7.260869565217392,,,,,,,,,,,8.384428651059086,8.14,8.683333333333334,8.923076923076923,7.791304347826087,8.666195652173913,8.78,8.75,9.3,7.834782608695652,0.06635408689990092,0.881492164426318 CohereForAI/aya-expanse-32b,4,8.301647782828724,8.20582556260983,7.925,8.635593220338983,8.76923076923077,7.493478260869566,7.86633295194508,7.7,8.25,8.263157894736842,7.252173913043478,7.781218535469108,7.76,8.210526315789474,8.05,7.104347826086957,,,,,,,,,,,8.467565609087348,7.66,9.066666666666666,9.378378378378379,7.765217391304348,8.666867007672634,8.58,9.0,9.235294117647058,7.852173913043479,0.0668827440056264,0.8884025936423876 031-swallow-8b-0.5-base-v2new-dpo405b,1,,8.203097826086957,8.22,8.15,9.025,7.417391304347826,,,,,,,,,,,8.203097826086957,8.22,8.15,9.025,7.417391304347826,,,,,,,,,,,,,,,,,0.870465686104649 Mistral-Nemo-Japanese-Instruct-2408-W8A8,4,8.299883981080075,8.20287202110242,8.15,8.539748953974895,8.8,7.321739130434783,7.994761729304839,7.9,8.525423728813559,8.466666666666667,7.086956521739131,7.793931159420289,8.0,8.033333333333333,8.125,7.017391304347826,,,,,,,,,,,8.311684782608696,8.0,8.7,9.025,7.521739130434782,8.690217391304348,8.7,8.9,9.5,7.660869565217391,0.06491625487970294,0.8663251017313137 global_step3500_hf,2,,8.200634057971014,8.2,8.041666666666666,8.9,7.660869565217391,,,,,,8.224130434782609,8.24,7.9,9.0,7.756521739130434,8.17713768115942,8.16,8.183333333333334,8.8,7.565217391304348,,,,,,,,,,,,,,,,,0.8950611188107532 ablation-169-a163.dpo.finaldpo.if50-shisa-v2-llama-3.1-8b,3,8.201783565080206,8.199635289008619,7.666666666666667,8.318435754189943,9.242424242424242,7.571014492753624,7.733357877512856,7.14,7.783333333333333,8.870967741935484,7.139130434782609,,,,,,,,,,,,,,,,8.360942336035372,7.46,8.830508474576272,9.275,7.878260869565217,8.513198757763975,8.4,8.35,9.607142857142858,7.695652173913044,,0.856693720067445 ablation-110-openrlhf.dpo.a106.5e7ax-shisa-v2-llama-3.1-8b,3,8.192773597893241,8.197999859293654,7.72,8.5,9.20388349514563,7.368115942028986,7.742826086956521,7.18,8.233333333333333,8.566666666666666,6.991304347826087,,,,,,,,,,,,,,,,8.306249999999999,7.6,8.7,9.325,7.6,8.524018445322794,8.38,8.566666666666666,9.636363636363637,7.51304347826087,,0.8593274656215165 CohereForAI/c4ai-command-r-plus-08-2024,4,8.31082952759586,8.194495646615325,8.315,8.188284518828452,8.79861111111111,7.476086956521739,7.988097826086957,7.96,8.15,8.625,7.217391304347826,7.708330876934415,8.16,7.3559322033898304,8.1,7.217391304347826,,,,,,,,,,,8.448677536231884,8.24,8.666666666666666,9.175,7.71304347826087,8.612047101449276,8.9,8.566666666666666,9.225,7.756521739130434,0.07816201202056569,0.880748357453209 ablation-145-a128.dpo.armorm.rp.tl.8e7-shisa-v2-llama-3.1-8b.checkpoint-1630,3,8.189750822833998,8.191132695383967,7.86,8.269662921348315,9.205882352941176,7.428985507246376,7.748468422038981,7.36,7.948275862068965,8.78125,6.904347826086957,,,,,,,,,,,,,,,,8.34657608695652,7.82,8.45,9.325,7.791304347826087,8.472826086956522,8.4,8.4,9.5,7.591304347826087,,0.8510599704298479 Mistral-Nemo-Japanese-Instruct-2408-GPTQ-w4a16-gs32-noact,4,8.30837492432973,8.18564346916992,7.82,8.583333333333334,8.89261744966443,7.446623093681917,8.041031543052004,7.64,8.533333333333333,8.764705882352942,7.226086956521739,7.708333333333333,7.6,8.233333333333333,8.0,7.0,,,,,,,,,,,8.385505339435545,7.74,8.816666666666666,9.31578947368421,7.6695652173913045,8.621319345661451,8.3,8.75,9.54054054054054,7.894736842105263,0.07784323342655958,0.8744493542315993 Mistral-Nemo-Japanese-Instruct-2408-FP8,4,8.310733893438034,8.18268984777317,8.07,8.592436974789916,8.895833333333334,7.172489082969432,8.014862617117592,7.98,8.40677966101695,8.785714285714286,6.886956521739131,7.673401079946003,7.78,8.152542372881356,8.0,6.761061946902655,,,,,,,,,,,8.404071906354515,7.98,8.883333333333333,9.205128205128204,7.547826086956522,8.641311202506854,8.54,8.916666666666666,9.621621621621621,7.48695652173913,0.08305740920511295,0.8665136589448034 ablation-123-a114.dpo.armorm.rp-shisa-v2-mistral-nemo-12b,3,8.177615730340316,8.181826282804543,7.92,8.65,8.855855855855856,7.301449275362319,7.74273231031543,7.5,8.333333333333334,8.294117647058824,6.843478260869565,,,,,,,,,,,,,,,,8.37820652173913,7.94,8.9,9.125,7.547826086956522,8.407697806502155,8.32,8.716666666666667,9.08108108108108,7.51304347826087,,0.8458966134645841 stockmark/Stockmark-2-100B-Instruct-beta,4,8.298771557039792,8.18087890069385,7.925,8.334728033472803,8.87248322147651,7.591304347826087,8.005901268115942,7.74,8.333333333333334,8.59375,7.356521739130435,,,,,,7.704492753623188,7.76,7.516666666666667,8.35,7.191304347826087,,,,,,8.413021181716834,7.76,8.8,9.205128205128204,7.886956521739131,8.595284877632547,8.44,8.694915254237289,9.31578947368421,7.930434782608696,,0.8934818038913027 ablation-141-a128.dpo.armorm.rp-shisa-v2-llama-3.1-8b,3,8.180546312081638,8.179683601422733,7.872909698996655,8.355555555555556,9.104761904761904,7.385507246376812,7.730365612648222,7.26,8.016666666666667,8.696969696969697,6.947826086956522,,,,,,,,,,,,,,,,8.330416666666666,7.88,8.716666666666667,9.125,7.6,8.481719367588934,8.484848484848484,8.333333333333334,9.5,7.608695652173913,,0.8585450154980501 ablation-145-a128.dpo.armorm.rp.tl.8e7-shisa-v2-llama-3.1-8b,3,8.184071917874865,8.178359401157508,7.72,8.422222222222222,9.168316831683168,7.402898550724638,7.7796291560102295,7.34,8.1,8.617647058823529,7.060869565217391,,,,,,,,,,,,,,,,8.31233695652174,7.62,8.65,9.275,7.7043478260869565,8.465962157809983,8.2,8.516666666666667,9.703703703703704,7.443478260869565,,0.8293688115627171 shisa-ai/079-qwen3-30b-a3b-v2new-sft-v2.1-dpo.8xMI300X.dsz3,1,,8.175760869565217,8.24,8.35,8.8,7.3130434782608695,,,,,,,,,,,8.175760869565217,8.24,8.35,8.8,7.3130434782608695,,,,,,,,,,,,,,,,,0.8737013772448265 together_ai/google/gemma-2-27b-it,4,8.236251545949365,8.166846481181238,7.795,8.59071729957806,8.972972972972974,7.308695652173913,7.891796066252588,7.4,8.383333333333333,8.714285714285714,7.069565217391304,7.90275171624714,7.58,8.31578947368421,8.55,7.165217391304348,,,,,,,,,,,8.29782608695652,7.8,8.85,9.15,7.391304347826087,8.588537549407116,8.4,8.8,9.545454545454545,7.608695652173913,0.04220046911211799,0.8636572486199784 033-swallow-8b-0.5-instruct-v2new-dpo405b,1,,8.165253623188406,7.94,8.016666666666667,9.2,7.504347826086956,,,,,,,,,,,8.165253623188406,7.94,8.016666666666667,9.2,7.504347826086956,,,,,,,,,,,,,,,,,0.8718200290681274 tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4,4,8.174802971826619,8.164553460024955,8.27,8.333333333333334,8.463576158940397,7.591304347826087,8.293021181716835,7.98,8.633333333333333,8.871794871794872,7.6869565217391305,,,,,,,,,,,7.062282608695653,8.06,6.9,6.55,6.739130434782608,8.55677536231884,8.18,8.916666666666666,9.2,7.930434782608696,8.797382246376811,8.86,8.883333333333333,9.4375,8.008695652173913,,0.8739877942661958 ablation-172-a174.dpo.finaldpo.if50.pl100-shisa-v2-llama-3.1-8b,3,8.159232300006757,8.156606280193238,7.926666666666667,8.46111111111111,9.11111111111111,7.127536231884058,7.788992094861659,7.42,8.2,8.727272727272727,6.808695652173913,,,,,,,,,,,,,,,,8.258387681159421,7.76,8.683333333333334,9.225,7.3652173913043475,8.43294314381271,8.6,8.5,9.423076923076923,7.208695652173913,,0.855787183002559 ablation-142-a128.dpo.armorm.rp.tl-shisa-v2-llama-3.1-8b,3,8.14998017820179,8.155299789927119,7.698996655518394,8.411111111111111,9.16326530612245,7.3478260869565215,7.664053945249598,7.16,8.016666666666667,8.592592592592593,6.886956521739131,,,,,,,,,,,,,,,,8.298641304347825,7.6,8.7,9.225,7.6695652173913045,8.481925673282616,8.343434343434344,8.516666666666667,9.580645161290322,7.48695652173913,,0.8646194752161303 ablation-105-bestofn.atlo.rp.tlx25.newmixall-shisa-v2-llama-3.1-8b,3,8.14947977463003,8.153740709773318,7.84,8.377777777777778,9.182692307692308,7.214492753623189,7.74213768115942,7.42,8.116666666666667,8.666666666666666,6.765217391304348,,,,,,,,,,,,,,,,8.195090579710145,7.48,8.666666666666666,9.225,7.408695652173913,8.506950127877237,8.62,8.35,9.588235294117647,7.469565217391304,,0.8560143914598883 ablation-146-a128.dpo.armorm.rp.tl.1e6-shisa-v2-llama-3.1-8b.checkpoint-815,3,8.151738939276303,8.1530900621118,7.873333333333333,8.45,9.123809523809523,7.165217391304348,7.70010210803689,7.34,8.15,8.606060606060606,6.7043478260869565,,,,,,,,,,,,,,,,8.296467391304349,7.8,8.65,9.275,7.460869565217391,8.457296195652175,8.48,8.55,9.46875,7.3304347826086955,,0.8523261852484829 ablation-104-openrlhf.dpo.a84.5e7ring-shisa-v2-llama-3.1-8b,3,8.143553412399871,8.152199613788886,7.846666666666667,8.441340782122905,9.02803738317757,7.292753623188406,7.698439156583546,7.48,8.101694915254237,8.290322580645162,6.921739130434783,,,,,,,,,,,,,,,,8.266884057971014,7.74,8.566666666666666,9.3,7.460869565217391,8.45669082125604,8.32,8.65,9.36111111111111,7.495652173913044,,0.8583113839177864 shisa-ai/shisa-v2-qwen2.5-32b,1,,8.150869565217391,8.46,8.45,8.45,7.243478260869566,,,,,,,,,,,8.150869565217391,8.46,8.45,8.45,7.243478260869566,,,,,,,,,,,,,,,,,0.8742153856946734 expo-a84-a92-0.5,3,8.13996746878365,8.1476731078905,7.653333333333333,8.561111111111112,8.99074074074074,7.385507246376812,7.64944950911641,7.16,8.15,8.32258064516129,6.965217391304348,,,,,,,,,,,,,,,,8.253061594202899,7.38,8.883333333333333,9.175,7.573913043478261,8.509685663924795,8.42,8.65,9.35135135135135,7.6173913043478265,,0.8747631772350528 ablation-61-a55.dpo.enjanot-shisa-v2-llama-3.1-8b,3,8.136970877790962,8.14364857784031,7.886666666666667,8.379888268156424,9.047169811320755,7.260869565217392,7.703390338728941,7.36,8.084745762711865,8.586206896551724,6.782608695652174,,,,,,,,,,,,,,,,8.24802536231884,7.62,8.766666666666667,9.075,7.530434782608696,8.452819232275754,8.68,8.283333333333333,9.378378378378379,7.469565217391304,,0.8768842345184942 ablation-44-rewild.rafathenev2-shisa-v2-llama-3.1-8b-lr8e6,3,8.1158007010979,8.142174812631971,7.886666666666667,8.441340782122905,9.080808080808081,7.159883720930233,7.649293041926851,7.58,8.135593220338983,8.25,6.631578947368421,,,,,,,,,,,,,,,,8.233673355629877,7.76,8.7,9.205128205128204,7.269565217391304,8.4380615942029,8.32,8.483333333333333,9.375,7.573913043478261,,0.8626706797664244 google/gemma-2-9b-it,4,8.256732721622091,8.135164204756595,7.92,8.461538461538462,8.756944444444445,7.4021739130434785,7.960427286356821,7.66,8.413793103448276,8.689655172413794,7.078260869565217,7.6580377574370715,7.7,7.947368421052632,7.95,7.034782608695652,,,,,,,,,,,8.295634057971014,7.78,8.666666666666666,9.075,7.660869565217391,8.635705337403937,8.54,8.796610169491526,9.371428571428572,7.834782608695652,0.07817863833376895,0.8851257547837634 ablation-103-openrlhf.dpo.a84.5e7ax-shisa-v2-llama-3.1-8b,3,8.12684647483161,8.12996899072986,7.82,8.472222222222221,9.045045045045045,7.182608695652174,7.645068201193521,7.32,8.066666666666666,8.558823529411764,6.6347826086956525,,,,,,,,,,,,,,,,8.409547101449276,8.04,8.866666666666667,9.175,7.556521739130435,8.32280160595378,8.1,8.483333333333333,9.35135135135135,7.356521739130435,,0.8664136482698662 ablation-148-a128.dpo.armorm.rp.tl.2e6-shisa-v2-llama-3.1-8b,3,8.13151703841769,8.129962496821765,7.84,8.205555555555556,9.210526315789474,7.263768115942029,7.729294062646097,7.36,7.933333333333334,8.806451612903226,6.817391304347826,,,,,,,,,,,,,,,,8.273260869565217,7.78,8.45,9.35,7.51304347826087,8.39355072463768,8.38,8.233333333333333,9.5,7.460869565217391,,0.8313163317310157 ablation-40-rafathenev2.cmrmix.masked-shisa-v2-llama-3.1-8b-lr8e6,3,8.115435097931691,8.128825558657471,7.933110367892977,8.277777777777779,9.077669902912621,7.226744186046512,7.602753623188406,7.34,7.866666666666666,8.5,6.7043478260869565,,,,,,,,,,,,,,,,8.26322463768116,7.8,8.633333333333333,9.15,7.469565217391304,8.46693657219973,8.666666666666666,8.333333333333334,9.35897435897436,7.508771929824562,,0.8750075702669908 cyberagent/calm3-22b-chat,3,8.112695422029661,8.128375054896793,7.92,8.066666666666666,9.16161616161616,7.3652173913043475,7.716485507246377,7.6,7.633333333333334,8.65,6.982608695652174,,,,,,,,,,,,,,,,8.245126811594202,7.82,8.283333333333333,9.225,7.6521739130434785,8.360794314381272,8.34,8.283333333333333,9.35897435897436,7.460869565217391,,0.8642895651547227 ablation-92-a84.dpo.armorm.rp-shisa-v2-llama-3.1-8b,3,8.118335649612822,8.125887191539366,7.553333333333334,8.566666666666666,9.027027027027026,7.356521739130435,7.6089311594202895,7.06,8.183333333333334,8.375,6.817391304347826,,,,,,,,,,,,,,,,8.25106884057971,7.38,8.866666666666667,9.175,7.582608695652174,8.487455406911929,8.22,8.65,9.41025641025641,7.6695652173913045,,0.8743627639695761 ablation-63-rafathenev2.rp.tl.yahoo-shisa-v2-llama-3.1-8b,3,8.114074206853745,8.125270315152772,7.765886287625418,8.577777777777778,8.93939393939394,7.218023255813954,7.707942410373761,7.4,8.216666666666667,8.478260869565217,6.7368421052631575,,,,,,,,,,,,,,,,8.183047870004392,7.595959595959596,8.866666666666667,9.0,7.269565217391304,8.440036231884058,8.3,8.65,9.166666666666666,7.643478260869565,,0.8785180936176419 abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0,1,,8.122717391304349,8.78,8.15,8.1,7.460869565217391,,,,,,,,,,,8.122717391304349,8.78,8.15,8.1,7.460869565217391,,,,,,,,,,,,,,,,,0.806485351240191 ablation-146-a128.dpo.armorm.rp.tl.1e6-shisa-v2-llama-3.1-8b.checkpoint-1630,3,8.120019361322846,8.12142942555125,7.8,8.38888888888889,9.128712871287128,7.168115942028986,7.747332427536232,7.38,8.116666666666667,8.71875,6.773913043478261,,,,,,,,,,,,,,,,8.266847826086957,7.8,8.55,9.3,7.417391304347826,8.344467766116942,8.22,8.5,9.344827586206897,7.3130434782608695,,0.8246034943622768 ablation-102-openrlhf.dpo.a84.5e7-shisa-v2-llama-3.1-8b,3,8.115097879474362,8.12074531433556,7.76,8.748603351955307,8.820754716981131,7.153623188405797,7.655763207106125,7.24,8.583333333333334,8.225806451612904,6.573913043478261,,,,,,,,,,,,,,,,8.260344202898551,7.62,8.933333333333334,8.975,7.51304347826087,8.423538793557217,8.42,8.728813559322035,9.17142857142857,7.373913043478261,,0.8782141030653666 NousResearch/Hermes-3-Llama-3.1-405B,4,8.250215875220107,8.119280936745456,8.300751879699249,8.267782426778243,8.390070921985815,7.518518518518518,8.002202274754683,8.0,8.186440677966102,8.541666666666666,7.280701754385965,7.618242753623188,8.14,7.666666666666667,7.475,7.191304347826087,,,,,,,,,,,8.363663337250292,8.36,8.65,8.783783783783784,7.660869565217391,8.515716952129996,8.707070707070708,8.566666666666666,8.85,7.939130434782609,0.0829552354834527,0.8648093991037313 ablation-55-rafathenev2.rp.tl-shisa-v2-llama-3.1-8b,3,8.102753766965723,8.116791465378421,7.793333333333333,8.316666666666666,8.962962962962964,7.394202898550724,7.5579917184265,7.28,7.833333333333333,8.214285714285714,6.904347826086957,,,,,,,,,,,,,,,,8.245507246376812,7.64,8.683333333333334,9.05,7.608695652173913,8.49072463768116,8.46,8.433333333333334,9.4,7.6695652173913045,,0.8674383768873165 ablation-29-rafathenev2.phi4-shisa-v2-phi-4-14b,3,8.087429611910595,8.115313146997929,8.32,7.875,8.095238095238095,8.171014492753622,7.417707096102995,7.46,7.271186440677966,7.235294117647059,7.7043478260869565,,,,,,,,,,,,,,,,8.462931995540693,8.7,8.366666666666667,8.35897435897436,8.42608695652174,8.353766209000764,8.8,7.982456140350878,8.25,8.382608695652173,,0.7058400197324514 cyberagent/Mistral-Nemo-Japanese-Instruct-2408,4,8.22647453742495,8.114453881612203,8.0,8.474789915966387,8.917808219178083,7.065217391304348,7.885905797101449,7.74,8.25,8.666666666666666,6.886956521739131,7.648778555637436,7.66,8.23728813559322,8.15,6.547826086956522,,,,,,,,,,,8.411847826086957,8.08,8.8,9.35,7.417391304347826,8.493690644899193,8.52,8.610169491525424,9.435897435897436,7.408695652173913,0.07552787384094564,0.8629139239389955 ablation-10-raathenev2-shisa-v2-llama-3.1-8b-lr8e6,3,8.105967801253307,8.113519007630142,7.6866666666666665,8.527777777777779,9.02803738317757,7.211594202898551,7.724202898550725,7.32,8.266666666666667,8.466666666666667,6.843478260869565,,,,,,,,,,,,,,,,8.150275919732442,7.52,8.683333333333334,9.128205128205128,7.269565217391304,8.435873379099924,8.22,8.633333333333333,9.368421052631579,7.521739130434782,,0.8735323000516683 ablation-59-a55.dpo.en-shisa-v2-llama-3.1-8b,3,8.085183817580843,8.112958937198067,7.833333333333333,8.544444444444444,8.99,7.084057971014492,7.539505928853754,7.36,8.2,7.954545454545454,6.643478260869565,,,,,,,,,,,,,,,,8.228804347826086,7.8,8.8,9.15,7.165217391304348,8.45946605644546,8.34,8.633333333333333,9.421052631578947,7.443478260869565,,0.8742465597506661 ablation-77-pairwise.control-shisa-v2-llama-3.1-8b,3,8.099783839284365,8.11290158691604,7.846666666666667,8.480446927374302,8.91,7.214492753623189,7.653684598378776,7.52,8.101694915254237,8.28,6.71304347826087,,,,,,,,,,,,,,,,8.223931159420289,7.72,8.683333333333334,9.075,7.417391304347826,8.40861801242236,8.3,8.65,9.17142857142857,7.51304347826087,,0.8701059627849276 ablation-46-rafathenev2.rp-shisa-v2-llama-3.1-8b-lr8e6,3,8.094314420578165,8.112146331362869,7.84,8.385474860335195,9.03125,7.191860465116279,7.662587719298246,7.46,8.05,8.473684210526315,6.666666666666667,,,,,,,,,,,,,,,,8.220557413600892,7.78,8.566666666666666,9.205128205128204,7.3304347826086955,8.381966218050653,8.28,8.542372881355933,9.131578947368421,7.573913043478261,,0.8728090630699784 ablation-158-a128.dpo.finaldpo.if50-shisa-v2-llama-3.1-8b,3,8.106249098098802,8.10834683810932,7.725752508361204,8.279329608938548,9.13265306122449,7.2956521739130435,7.67824016563147,7.32,7.833333333333333,8.785714285714286,6.773913043478261,,,,,,,,,,,,,,,,8.206783345615328,7.46,8.59322033898305,9.2,7.573913043478261,8.431626043039087,8.404040404040405,8.416666666666666,9.366666666666667,7.539130434782609,,0.8678023247895857 expo-a84-a92-0.3,3,8.095539084092765,8.108267565887022,7.633333333333334,8.522222222222222,9.089108910891088,7.188405797101449,7.517858293075685,7.16,8.0,8.25925925925926,6.6521739130434785,,,,,,,,,,,,,,,,8.27675724637681,7.54,8.883333333333333,9.275,7.408695652173913,8.479273231031543,8.2,8.683333333333334,9.529411764705882,7.504347826086956,,0.8569894284155802 ablation-49-rafathenev2.magpief-shisa-v2-llama-3.1-8b,3,8.09416075706779,8.107844616742462,7.7,8.35195530726257,9.188118811881187,7.191304347826087,7.63463768115942,7.26,8.033333333333333,8.48,6.765217391304348,,,,,,,,,,,,,,,,8.22156411201179,7.6,8.610169491525424,9.25,7.426086956521739,8.412596618357487,8.24,8.416666666666666,9.61111111111111,7.3826086956521735,,0.8659185087420463 ablation-45-rewild.rafathenev2.rp-shisa-v2-llama-3.1-8b-lr8e6,3,8.077054272342995,8.103573369565218,7.786666666666667,8.216666666666667,9.03125,7.379710144927536,7.629057971014492,7.48,7.866666666666666,8.1,7.069565217391304,,,,,,,,,,,,,,,,8.187989130434783,7.64,8.5,9.125,7.48695652173913,8.387596618357488,8.24,8.283333333333333,9.444444444444445,7.582608695652174,,0.8668674335435038 ablation-168-a163.dpo.finaldpo.if25-shisa-v2-llama-3.1-8b,3,8.10381191761615,8.102559893368202,7.873333333333333,8.094972067039107,9.102803738317757,7.339130434782609,7.6490217391304345,7.32,7.85,8.6,6.826086956521739,,,,,,,,,,,,,,,,8.242012546529864,7.84,8.305084745762711,9.179487179487179,7.643478260869565,8.4216534914361,8.46,8.133333333333333,9.545454545454545,7.547826086956522,,0.8457574787649762 ablation-199-a169-expo-shisa-v2-llama-3.1-8b,3,8.092954572025914,8.099588153171121,7.826666666666667,8.25,9.110091743119266,7.211594202898551,7.65621564217891,7.3,7.783333333333333,8.724137931034482,6.817391304347826,,,,,,,,,,,,,,,,8.23411231884058,7.66,8.666666666666666,9.175,7.434782608695652,8.381902173913044,8.52,8.3,9.325,7.3826086956521735,,0.8493229658946162 ablation-37-rafathenev2.cmrmix-shisa-v2-llama-3.1-8b-lr8e6,3,8.09006148440931,8.097637241985067,7.973333333333334,8.244444444444444,8.929292929292929,7.243478260869566,7.677173913043478,7.5,7.816666666666666,8.583333333333334,6.808695652173913,,,,,,,,,,,,,,,,8.241702898550724,7.94,8.583333333333334,9.0,7.443478260869565,8.343731884057972,8.48,8.333333333333334,9.083333333333334,7.478260869565218,,0.8622648464139858 ablation-138-shisav2.gbs128.1.6e5-shisa-v2-llama-3.1-8b,3,8.094781334173764,8.096789144787687,7.78,8.296089385474861,9.154545454545454,7.156521739130435,7.649848678601876,7.38,7.883333333333334,8.588235294117647,6.747826086956522,,,,,,,,,,,,,,,,8.180700073691966,7.52,8.559322033898304,9.2,7.443478260869565,8.451787439613527,8.44,8.45,9.63888888888889,7.278260869565218,,0.8643616245671469 ablation-176-a175.finaldpo2-shisa-v2-llama-3.1-8b.run3,3,8.093899042104765,8.096115136876005,7.7,8.294444444444444,9.074074074074074,7.315942028985507,7.649202898550725,7.12,7.933333333333334,8.5,7.043478260869565,,,,,,,,,,,,,,,,8.233460144927538,7.64,8.566666666666666,9.275,7.452173913043478,8.396817988064791,8.34,8.383333333333333,9.411764705882353,7.452173913043478,,0.8620218447637846 ablation-147-a128.dpo.armorm.rp.tl.1.5e6-shisa-v2-llama-3.1-8b.checkpoint-1630,3,8.08725594076817,8.096021394064872,7.56,8.155555555555555,9.071428571428571,7.597101449275362,7.677920847268673,7.14,7.866666666666666,8.461538461538462,7.243478260869566,,,,,,,,,,,,,,,,8.242300724637682,7.5,8.433333333333334,9.175,7.860869565217391,8.33278079710145,8.04,8.166666666666666,9.4375,7.6869565217391305,,0.8405228063148376 ablation-157-a128.dpo.finaldpo.if25-shisa-v2-llama-3.1-8b,3,8.085387882623156,8.090789049919486,7.72,8.266666666666667,9.185185185185185,7.191304347826087,7.707491818606826,7.3,7.933333333333334,8.709677419354838,6.886956521739131,,,,,,,,,,,,,,,,8.161449275362319,7.54,8.466666666666667,9.3,7.339130434782609,8.381821386603995,8.32,8.4,9.45945945945946,7.3478260869565215,,0.8588551231055077 ablation-144-a128.dpo.armorm.rp.tl.5e7-shisa-v2-llama-3.1-8b,3,8.094361206881715,8.09038400187908,7.625418060200669,8.394444444444444,9.254716981132075,7.086956521739131,7.697367149758454,7.16,8.05,8.805555555555555,6.773913043478261,,,,,,,,,,,,,,,,8.18391304347826,7.54,8.55,9.35,7.2956521739130435,8.405780632411066,8.181818181818182,8.583333333333334,9.666666666666666,7.191304347826087,,0.8450923203696346 ablation-74-a55.dpo.olmo2-shisa-v2-llama-3.1-8b,3,8.080691423653983,8.08919052245625,7.673333333333333,8.346368715083798,9.00952380952381,7.327536231884058,7.5796489255372315,7.16,7.883333333333334,8.344827586206897,6.930434782608696,,,,,,,,,,,,,,,,8.25682479734709,7.66,8.711864406779661,9.125,7.530434782608696,8.397101449275361,8.2,8.45,9.416666666666666,7.521739130434782,,0.8633588806000325 ablation-143-a128.dpo.armorm.rp.tl-shisa-v2-llama-3.1-8b,3,8.086708465047483,8.08835256844106,7.58,8.324022346368714,9.223300970873787,7.226086956521739,7.638962131837307,7.04,8.0,8.741935483870968,6.773913043478261,,,,,,,,,,,,,,,,8.147119565217391,7.32,8.55,9.275,7.443478260869565,8.47239959469418,8.38,8.423728813559322,9.625,7.460869565217391,,0.8508449108803927 claude-3-haiku-20240307,4,8.164726033409881,8.0849535008732,7.515,8.194915254237289,9.034246575342467,7.595652173913043,7.87924716213322,7.28,8.10344827586207,8.785714285714286,7.3478260869565215,7.741701649175412,7.48,7.517241379310345,8.7,7.269565217391304,,,,,,,,,,,8.16551868802441,7.18,8.533333333333333,9.105263157894736,7.843478260869565,8.529184782608695,8.12,8.6,9.475,7.921739130434783,0.05464230002709112,0.886718551040401 tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3,4,8.179922648128372,8.084710500142087,7.965,8.15,8.967320261437909,7.256521739130434,7.863977146042364,7.6,8.016666666666667,8.743589743589743,7.095652173913043,7.71804347826087,7.82,7.4,8.6,7.052173913043478,,,,,,,,,,,8.24592530657748,7.84,8.633333333333333,9.153846153846153,7.356521739130435,8.525077639751553,8.6,8.55,9.428571428571429,7.521739130434782,0.059844074624412276,0.8744276055900879 ablation-144-a128.dpo.armorm.rp.tl.5e7-shisa-v2-llama-3.1-8b.checkpoint-1630,3,8.081978413876353,8.081418155903519,7.706666666666667,8.212290502793296,9.198019801980198,7.208695652173913,7.728039102800294,7.32,7.915254237288136,8.78125,6.895652173913043,,,,,,,,,,,,,,,,8.147880434782609,7.46,8.5,9.275,7.356521739130435,8.37057596201899,8.34,8.216666666666667,9.551724137931034,7.373913043478261,,0.858536923506366 ablation-131-geniac.gbs128.2e5-shisa-v2-llama-3.1-8b,3,8.074229370150125,8.077919768121996,7.846666666666667,8.217877094972067,9.177570093457945,7.069565217391304,7.604088292188651,7.38,7.762711864406779,8.65625,6.6173913043478265,,,,,,,,,,,,,,,,8.229365942028986,7.72,8.633333333333333,9.225,7.339130434782609,8.38554347826087,8.44,8.25,9.6,7.252173913043478,,0.8791218673454005 ablation-174-shisav2.if50.tltweak-shisa-v2-llama-3.1-8b,3,8.075194243971339,8.076348512655303,7.693333333333333,8.314606741573034,9.135135135135135,7.16231884057971,7.608871986524896,7.1,7.9491525423728815,8.742857142857142,6.643478260869565,,,,,,,,,,,,,,,,8.141196573323509,7.42,8.491525423728813,9.175,7.478260869565218,8.474359903381643,8.56,8.5,9.472222222222221,7.3652173913043475,,0.8731727464496863 ablation-75-a55.dpo.argilla-shisa-v2-llama-3.1-8b,3,8.05582299567354,8.074100790513834,7.913333333333333,8.45,8.727272727272727,7.205797101449275,7.599805665349145,7.54,8.083333333333334,8.045454545454545,6.730434782608696,,,,,,,,,,,,,,,,8.164692028985508,7.72,8.683333333333334,8.925,7.3304347826086955,8.38469349784567,8.48,8.583333333333334,8.91891891891892,7.556521739130435,,0.8511389267545074 ablation-159-a128.dpo.finaldpo.if100-shisa-v2-llama-3.1-8b,3,8.07096773811554,8.073065590381033,7.8133333333333335,8.212290502793296,9.194174757281553,7.072463768115942,7.638160434544892,7.34,7.762711864406779,8.806451612903226,6.643478260869565,,,,,,,,,,,,,,,,8.189420289855072,7.72,8.483333333333333,9.25,7.304347826086956,8.38322463768116,8.38,8.383333333333333,9.5,7.269565217391304,,0.8634812687058738 Qwen/Qwen3-30B-A3B-Instruct-2507,2,7.688415582992402,8.072841285924834,8.36,8.610169491525424,8.2125,7.108695652173913,,,,,,,,,,,8.834021739130435,8.66,9.5,9.55,7.626086956521739,7.303989880059969,8.06,7.689655172413793,6.875,6.591304347826087,,,,,,,,,,,,0.8550464615446346 ablation-78-pairwise.enja-shisa-v2-llama-3.1-8b,3,8.059500651660978,8.072139406487231,7.68,8.355555555555556,9.00952380952381,7.243478260869566,7.536775362318841,7.2,7.966666666666667,8.25,6.730434782608696,,,,,,,,,,,,,,,,8.25483695652174,7.64,8.65,9.225,7.504347826086956,8.374250881316097,8.2,8.45,9.35135135135135,7.495652173913044,,0.8693783916188416 ablation-148-a128.dpo.armorm.rp.tl.2e6-shisa-v2-llama-3.1-8b.checkpoint-815,3,8.062796312365526,8.07205314009662,7.346666666666667,8.544444444444444,9.0,7.397101449275362,7.514435817805384,6.78,8.183333333333334,8.285714285714286,6.808695652173913,,,,,,,,,,,,,,,,8.224619565217392,7.18,8.75,9.125,7.843478260869565,8.440076726342712,8.08,8.7,9.441176470588236,7.539130434782609,,0.8704600149071295 ablation-91-a83.dpo.armorm.rp-shisa-v2-llama-3.1-8b,3,8.068733800167223,8.07191889632107,7.493333333333333,8.466666666666667,8.971153846153847,7.356521739130435,7.6204755434782605,6.98,8.2,8.40625,6.895652173913043,,,,,,,,,,,,,,,,8.168750000000001,7.4,8.7,9.175,7.4,8.413790760869565,8.1,8.5,9.28125,7.773913043478261,,0.8724588792051126 Qwen/Qwen3-235B-A22B,1,,8.071702898550726,8.36,7.633333333333334,9.05,7.243478260869566,,,,,,,,,,,8.071702898550726,8.36,7.633333333333334,9.05,7.243478260869566,,,,,,,,,,,,,,,,,0.7256824361920023 ablation-174-shisav2.if50.tltweak-shisa-v2-llama-3.1-8b.run2,3,8.06314401664169,8.070041198248228,7.6466666666666665,8.372222222222222,9.130841121495328,7.130434782608695,7.570185834502103,7.14,7.95,8.451612903225806,6.739130434782608,,,,,,,,,,,,,,,,8.138496376811593,7.4,8.583333333333334,9.275,7.2956521739130435,8.473852657004832,8.4,8.583333333333334,9.555555555555555,7.356521739130435,,0.8710194680169486 ablation-176-a175.finaldpo2-shisa-v2-llama-3.1-8b,3,8.060043691389598,8.062637093615354,7.7,8.216666666666667,9.0990990990991,7.234782608695652,7.560174765558397,7.08,7.833333333333333,8.588235294117647,6.739130434782608,,,,,,,,,,,,,,,,8.212826086956522,7.56,8.6,9.1,7.591304347826087,8.404536819428124,8.46,8.216666666666667,9.567567567567568,7.373913043478261,,0.8500057367688983 gpt-4o-2024-08-06,1,8.062373188405797,8.062373188405797,8.76,7.916666666666667,8.025,7.547826086956522,,,,,,,,,,,,,,,,8.062373188405797,8.76,7.916666666666667,8.025,7.547826086956522,,,,,,,,,,,,0.8788810110956421 ablation-147-a128.dpo.armorm.rp.tl.1.5e6-shisa-v2-llama-3.1-8b,3,8.059445353033547,8.059742898487826,7.5719063545150505,8.335195530726256,9.05940594059406,7.272463768115942,7.645697463768116,7.1,8.033333333333333,8.5625,6.886956521739131,,,,,,,,,,,,,,,,8.21324275362319,7.42,8.616666666666667,9.225,7.591304347826087,8.319098296255058,8.202020202020202,8.35593220338983,9.379310344827585,7.339130434782609,,0.833671472438801 ablation-88-a83.dpo.armorm-shisa-v2-llama-3.1-8b,3,8.047996572802779,8.059061996779388,7.66,8.322222222222223,8.935185185185185,7.318840579710145,7.497608695652174,7.26,7.833333333333333,8.166666666666666,6.730434782608696,,,,,,,,,,,,,,,,8.242119565217392,7.5,8.6,9.225,7.643478260869565,8.393196033562166,8.22,8.533333333333333,9.236842105263158,7.582608695652174,,0.8748564518284518 ablation-81-bestofn.athenev2-shisa-v2-llama-3.1-8b-lr8e6,3,8.051386680210992,8.05825794519625,7.7324414715719065,8.201117318435754,8.954545454545455,7.344927536231884,7.556060243183493,7.26,7.745762711864407,8.375,6.843478260869565,,,,,,,,,,,,,,,,8.209046991655686,7.6767676767676765,8.383333333333333,9.15,7.626086956521739,8.382181540808542,8.26,8.466666666666667,9.236842105263158,7.565217391304348,,0.8753633612121314 ablation-24-rafathenev2.lesswarmup-shisa-v2-llama-3.1-8b-lr8e6,3,8.045156202122735,8.055772017837235,7.6466666666666665,8.366666666666667,8.98076923076923,7.228985507246377,7.6285185185185185,7.24,8.066666666666666,8.407407407407407,6.8,,,,,,,,,,,,,,,,8.162232441471572,7.52,8.583333333333334,9.128205128205128,7.417391304347826,8.334101830663615,8.18,8.45,9.236842105263158,7.469565217391304,,0.8650182930598571 ablation-42-rafathenev2.cmrmixen.masked-shisa-v2-llama-3.1-8b-lr8e6,3,8.037887092565827,8.05556424188215,7.718120805369128,8.272222222222222,9.092783505154639,7.139130434782609,7.562101449275362,7.16,7.866666666666666,8.5,6.721739130434782,,,,,,,,,,,,,,,,8.109380128516284,7.414141414141414,8.683333333333334,9.105263157894736,7.234782608695652,8.424502550589509,8.585858585858587,8.266666666666667,9.384615384615385,7.460869565217391,,0.8699408682850887 ablation-129-shisav2.gbs128.2e5-shisa-v2-llama-3.1-8b,3,8.048197138351108,8.0539255722606,7.826666666666667,8.15,9.102803738317757,7.136231884057971,7.600777232351566,7.2,7.883333333333334,8.580645161290322,6.739130434782608,,,,,,,,,,,,,,,,8.256576086956521,7.86,8.5,9.275,7.391304347826087,8.281509661835749,8.42,8.066666666666666,9.36111111111111,7.278260869565218,,0.8608681793673928 ablation-109-a108.bestofn.atlo.rp.tlx25.newmix1-shisa-v2-llama-3.1-8b,3,8.040447120279136,8.050969264746895,7.78,8.094972067039107,9.212962962962964,7.115942028985507,7.570648425787105,7.32,7.75,8.551724137931034,6.660869565217391,,,,,,,,,,,,,,,,8.150995762711865,7.54,8.338983050847459,9.325,7.4,8.38917502787068,8.48,8.2,9.58974358974359,7.28695652173913,,0.8768575221163609 ablation-35-rafathenev2.unphi42e6-shisa-v2-unphi-4-14b,3,7.999022455907741,8.048279194592208,7.873333333333333,8.092485549132949,8.523809523809524,7.703488372093023,7.379347826086956,7.2,7.566666666666666,7.333333333333333,7.417391304347826,,,,,,,,,,,,,,,,8.257445652173912,8.12,8.5,8.775,7.6347826086956525,8.31101715077789,8.3,8.226415094339623,8.65625,8.06140350877193,,0.7822830942046414 ablation-106-bestofn.atlo.rp.tlx25.newmix1-shisa-v2-llama-3.1-8b,3,8.04099054639347,8.047958937198068,7.546666666666667,8.294444444444444,9.2,7.15072463768116,7.600024987506247,7.1,7.966666666666667,8.655172413793103,6.678260869565217,,,,,,,,,,,,,,,,8.123188405797102,7.3,8.516666666666667,9.25,7.426086956521739,8.392789855072465,8.24,8.4,9.583333333333334,7.3478260869565215,,0.8633187638009515 ablation-176-a175.finaldpo2-shisa-v2-llama-3.1-8b.run2,3,8.044676908645268,8.04509318353056,7.565217391304348,8.405555555555555,9.128440366972477,7.081159420289855,7.607772804774084,6.94,8.016666666666667,8.735294117647058,6.739130434782608,,,,,,,,,,,,,,,,8.179946201141853,7.616161616161616,8.716666666666667,9.1,7.28695652173913,8.345895445134577,8.14,8.483333333333333,9.542857142857143,7.217391304347826,,0.8621578124601496 ablation-145-a128.dpo.armorm.rp.tl.8e7-shisa-v2-llama-3.1-8b.checkpoint-815,3,8.044285605978038,8.042941128844056,7.64,8.29050279329609,8.980392156862745,7.260869565217392,7.616847826086956,7.1,7.95,8.6,6.817391304347826,,,,,,,,,,,,,,,,8.16239775239499,7.46,8.440677966101696,9.175,7.573913043478261,8.35495571658615,8.36,8.483333333333333,9.185185185185185,7.391304347826087,,0.8501201456151236 ablation-147-a128.dpo.armorm.rp.tl.1.5e6-shisa-v2-llama-3.1-8b.checkpoint-815,3,8.043223147819981,8.040608379415566,7.551839464882943,8.312849162011172,9.030303030303031,7.267441860465116,7.537872029843484,7.0,7.864406779661017,8.515151515151516,6.771929824561403,,,,,,,,,,,,,,,,8.230869565217391,7.48,8.6,9.2,7.643478260869565,8.363542616803485,8.181818181818182,8.466666666666667,9.423076923076923,7.3826086956521735,,0.8626839929053487 032-swallow-8b-0.5-instruct-v2new-sft,1,,8.040090579710146,7.86,8.016666666666667,9.075,7.208695652173913,,,,,,,,,,,8.040090579710146,7.86,8.016666666666667,9.075,7.208695652173913,,,,,,,,,,,,,,,,,0.8672892955092937 ablation-30-rafathenev2.5epochs-shisa-v2-llama-3.1-8b-lr8e6,3,8.01236053703445,8.037264788351745,7.719063545150502,8.433333333333334,8.767676767676768,7.228985507246377,7.470144927536231,7.34,7.966666666666667,7.739130434782608,6.834782608695652,,,,,,,,,,,,,,,,8.142349498327759,7.5,8.783333333333333,9.051282051282051,7.234782608695652,8.399682933922065,8.323232323232324,8.55,9.108108108108109,7.6173913043478265,,0.8630233701841856 ablation-144-a128.dpo.armorm.rp.tl.5e7-shisa-v2-llama-3.1-8b.checkpoint-815,3,8.037463869945759,8.035907974369074,7.570469798657718,8.255555555555556,9.108910891089108,7.208695652173913,7.539121376811594,6.94,7.833333333333333,8.6875,6.695652173913044,,,,,,,,,,,,,,,,8.18235891523935,7.313131313131313,8.65,9.175,7.591304347826087,8.392467213363016,8.464646464646465,8.283333333333333,9.482758620689655,7.339130434782609,,0.8486512742118505 checkpoint-346,3,8.02352355887396,8.03556856187291,7.593333333333334,8.35,9.01923076923077,7.179710144927537,7.4746578099838965,7.0,7.85,8.37037037037037,6.678260869565217,,,,,,,,,,,,,,,,8.132224080267559,7.36,8.633333333333333,9.205128205128204,7.3304347826086955,8.451643783371471,8.42,8.566666666666666,9.289473684210526,7.530434782608696,,0.8689142198709339 ablation-80-pairwise.random-shisa-v2-llama-3.1-8b,3,8.027110303375325,8.03236646222918,7.839464882943144,8.322222222222223,8.822429906542055,7.145348837209302,7.530811403508772,7.4,7.966666666666667,8.125,6.631578947368421,,,,,,,,,,,,,,,,8.146728151075976,7.6767676767676765,8.516666666666667,8.95,7.443478260869565,8.398535196687371,8.44,8.483333333333333,9.314285714285715,7.356521739130435,,0.8642382945751323 ablation-171-a174.dpo.finaldpo.if50.pl50-shisa-v2-llama-3.1-8b,3,8.031132017288725,8.029536105594634,7.6466666666666665,8.374301675977653,8.928571428571429,7.1686046511627906,7.563229166666667,7.08,8.1,8.40625,6.666666666666667,,,,,,,,,,,,,,,,8.163804347826087,7.44,8.55,9.1,7.565217391304348,8.367958449067514,8.42,8.474576271186441,9.307692307692308,7.269565217391304,,0.8529191659005233 shisa-ai/168-llama3.3-70b-v2.1-sft,2,7.729094202898551,8.028677536231884,8.36,7.966666666666667,8.275,7.51304347826087,,,,,,,,,,,8.627844202898551,8.54,8.633333333333333,9.425,7.913043478260869,7.429510869565218,8.18,7.3,7.125,7.113043478260869,,,,,,,,,,,,0.882577777836239 checkpoint-692,3,8.011254577881436,8.028543292456336,7.74,8.122222222222222,8.846153846153847,7.405797101449275,7.474275362318841,7.3,7.666666666666667,8.0,6.930434782608696,,,,,,,,,,,,,,,,8.194547101449274,7.68,8.516666666666667,9.025,7.556521739130435,8.347652555301297,8.24,8.183333333333334,9.236842105263158,7.730434782608696,,0.8746956458820658 ablation-31-rafathenev2.reasoning-shisa-v2-llama3.1-8b,3,8.015354800132613,8.027632850241545,7.88,8.294444444444444,8.71,7.226086956521739,7.462914653784219,7.38,7.9,7.962962962962963,6.608695652173913,,,,,,,,,,,,,,,,8.205615942028986,7.9,8.583333333333334,9.0,7.339130434782609,8.365255754475703,8.36,8.4,8.970588235294118,7.730434782608696,,0.87174653382334 together_ai/microsoft/WizardLM-2-8x22B,4,8.168437649030393,8.02699210036945,7.835,8.652542372881356,8.10738255033557,7.51304347826087,7.674965017491254,7.42,8.466666666666667,7.482758620689655,7.3304347826086955,7.410962732919255,7.46,8.214285714285714,6.9,7.069565217391304,,,,,,,,,,,8.438134057971014,7.9,8.966666666666667,9.025,7.860869565217391,8.533659420289855,8.56,8.933333333333334,8.85,7.791304347826087,0.10221005602233829,0.8730590273962893 Qwen/Qwen2.5-7B-Instruct,3,8.012747650651736,8.026968201435592,7.806020066889632,8.094972067039107,8.682242990654206,7.524637681159421,7.462553680786725,7.3,7.6440677966101696,7.793103448275862,7.113043478260869,,,,,,,,,,,,,,,,8.210911517925249,7.72,8.366666666666667,9.052631578947368,7.7043478260869565,8.350557202459377,8.404040404040405,8.266666666666667,8.975,7.756521739130434,,0.8641903840241052 ablation-101-bestofn.atlo.rp.tlx25-shisa-v2-llama-3.1-8b,3,8.014053919595508,8.026605982204833,7.792642140468227,8.2,9.00943396226415,7.104347826086957,7.432370600414078,7.28,7.633333333333334,8.285714285714286,6.530434782608696,,,,,,,,,,,,,,,,8.25062582345191,7.757575757575758,8.566666666666666,9.2,7.478260869565218,8.346613272311213,8.34,8.4,9.342105263157896,7.304347826086956,,0.8745477366621783 expo-l31-a92-0.3,3,8.013122829286049,8.022466864858169,7.578595317725752,8.355555555555556,8.796296296296296,7.3594202898550725,7.455413744740532,7.08,8.0,7.967741935483871,6.773913043478261,,,,,,,,,,,,,,,,8.231557971014492,7.54,8.666666666666666,9.05,7.6695652173913045,8.343052736530998,8.121212121212121,8.4,9.216216216216216,7.6347826086956525,,0.8613796061010797 meta-llama/Llama-3.1-405B-Instruct,4,8.02572134580175,8.019139368671828,8.56,8.05,8.164383561643836,7.302173913043478,8.018884863123994,8.26,8.116666666666667,8.481481481481481,7.217391304347826,,,,,,,,,,,6.789945652173913,8.3,6.5,5.925,6.434782608695652,8.555344202898551,8.6,8.833333333333334,9.075,7.71304347826087,8.745292642140468,9.08,8.75,9.307692307692308,7.843478260869565,,0.8596436616586283 ablation-137-shisav2.gbs128.1.4e5-shisa-v2-llama-3.1-8b,3,8.01162594663218,8.018105238293671,7.573333333333333,8.279329608938548,9.100917431192661,7.118840579710145,7.47669384057971,7.02,7.866666666666666,8.4375,6.582608695652174,,,,,,,,,,,,,,,,8.142971014492753,7.34,8.566666666666666,9.3,7.3652173913043475,8.40873369316258,8.36,8.40677966101695,9.45945945945946,7.408695652173913,,0.8677486300739164 030-swallow-8b-0.5-base-v2new-sft,1,,8.01748188405797,8.0,7.816666666666666,8.975,7.278260869565218,,,,,,,,,,,8.01748188405797,8.0,7.816666666666666,8.975,7.278260869565218,,,,,,,,,,,,,,,,,0.8671827347804991 ablation-126-shisav2.gbs128.8e6-shisa-v2-llama-3.1-8b,3,8.009632800725456,8.017351778656126,7.786666666666667,8.2,9.036363636363637,7.046376811594203,7.537033660589061,7.34,7.8,8.451612903225806,6.556521739130435,,,,,,,,,,,,,,,,8.128351449275362,7.5,8.516666666666667,9.175,7.321739130434783,8.35579431438127,8.52,8.283333333333333,9.35897435897436,7.260869565217392,,0.8727974772191035 ablation-130-shisav2.gbs128.5e5-shisa-v2-llama-3.1-8b,3,8.016349897341598,8.016667553073617,7.326666666666667,8.344444444444445,9.192660550458715,7.202898550724638,7.543545548654244,6.86,8.116666666666667,8.571428571428571,6.626086956521739,,,,,,,,,,,,,,,,8.08961956521739,7.04,8.55,9.325,7.443478260869565,8.415566922421142,8.08,8.366666666666667,9.676470588235293,7.539130434782609,,0.870130597648547 ablation-11-rafathenev2-shisa-v2-llama-3.1-8b-lr8e6,3,7.99596395912464,8.013314136768344,7.586666666666667,8.28491620111732,9.086021505376344,7.095652173913043,7.593321762401583,7.22,7.966101694915254,8.526315789473685,6.660869565217391,,,,,,,,,,,,,,,,8.078113983548766,7.3,8.6,9.108108108108109,7.304347826086956,8.299105953779867,8.24,8.283333333333333,9.35135135135135,7.321739130434783,,0.8732781945379378 ablation-139-shisav2.ds.gbs128.1e5-shisa-v2-llama-3.1-8b,3,8.0159661286012,8.012409775504405,7.62,8.322222222222223,9.07843137254902,7.028985507246377,7.5157401656314695,7.12,7.883333333333334,8.485714285714286,6.573913043478261,,,,,,,,,,,,,,,,8.20230072463768,7.64,8.583333333333334,9.325,7.260869565217392,8.33341384863124,8.1,8.5,9.481481481481481,7.252173913043478,,0.8562711862592243 ablation-175-finalsft2-shisa-v2-llama-3.1-8b,3,8.008259874925027,8.00987417585183,7.64,8.206703910614525,9.126126126126126,7.066666666666666,7.538314151747656,7.04,7.783333333333333,8.764705882352942,6.565217391304348,,,,,,,,,,,,,,,,8.14163043478261,7.56,8.55,9.1,7.356521739130435,8.34322073731801,8.32,8.288135593220339,9.486486486486486,7.278260869565218,,0.8747416085941081 ablation-79-pairwise.jaen-shisa-v2-llama-3.1-8b,3,8.000239399472987,8.009588382180825,7.638795986622074,8.444444444444445,8.813084112149532,7.142028985507246,7.516071964017991,7.24,8.0,8.206896551724139,6.6173913043478265,,,,,,,,,,,,,,,,8.1018170838823,7.494949494949495,8.716666666666667,8.9,7.2956521739130435,8.37348016781083,8.18,8.616666666666667,9.18421052631579,7.51304347826087,,0.8731698394806746 Qwen/Qwen3-30B-A3B,1,,8.008967391304349,8.3,8.4,8.275,7.060869565217391,,,,,,,,,,,8.008967391304349,8.3,8.4,8.275,7.060869565217391,,,,,,,,,,,,,,,,,0.843811963627539 ablation-164-shisav2.if100-shisa-v2-llama-3.1-8b,3,7.999460114683829,8.007291098675086,7.72,8.188888888888888,9.05940594059406,7.060869565217391,7.539259834368529,7.2,7.866666666666666,8.464285714285714,6.626086956521739,,,,,,,,,,,,,,,,8.070996376811593,7.38,8.383333333333333,9.225,7.2956521739130435,8.380293148880106,8.58,8.316666666666666,9.363636363636363,7.260869565217392,,0.8617788973944598 ablation-34-rafathenev2.unphi45e6-shisa-v2-unphi-4-14b,3,7.954273332391353,8.001386584850941,8.167224080267559,8.022857142857143,8.08,7.7354651162790695,7.350420755278026,7.72,7.322033898305085,7.0,7.359649122807017,,,,,,,,,,,,,,,,8.284750190694126,8.28,8.516666666666667,8.368421052631579,7.973913043478261,8.180535798742321,8.505050505050505,8.232142857142858,8.115384615384615,7.869565217391305,,0.7094966192316828 ablation-33-rafathenev2.unphi4-shisa-v2-unphi-4-14b,3,7.977846376067368,7.998680167440408,8.194630872483222,7.497109826589595,8.224719101123595,8.078260869565218,7.37637041773231,7.46,6.883333333333334,7.588235294117647,7.573913043478261,,,,,,,,,,,,,,,,8.379825279667859,8.46,8.10344827586207,8.538461538461538,8.417391304347825,8.156509639428894,8.673469387755102,7.527272727272727,8.181818181818182,8.243478260869566,,0.6949257726033748 shisa-ai/chotto-14b-20251007-dpo-openrlhf,1,,7.997543859649122,8.12,8.383333333333333,8.25,7.2368421052631575,,,,,,,,,,,7.997543859649122,8.12,8.383333333333333,8.25,7.2368421052631575,,,,,,,,,,,,,,,,,0.866045587719634 ablation-58-a55.dpo.ultra-shisa-v2-llama-3.1-8b,3,7.986898701351111,7.995752088110987,7.618729096989966,8.30167597765363,8.69158878504673,7.371014492753623,7.42205077614282,7.12,7.745762711864407,7.935483870967742,6.886956521739131,,,,,,,,,,,,,,,,8.18634991216513,7.474747474747475,8.85,8.925,7.495652173913044,8.343442028985509,8.26,8.3,9.083333333333334,7.730434782608696,,0.8618523540147535 ablation-84-bestofn.atlo.rp.tl-shisa-v2-llama-3.1-8b,3,7.982556425201499,7.9947423510467,7.806666666666667,8.216666666666667,8.842592592592593,7.113043478260869,7.363750584385227,7.3,7.783333333333333,7.806451612903226,6.565217391304348,,,,,,,,,,,,,,,,8.177047101449276,7.66,8.516666666666667,9.175,7.356521739130435,8.394685663924795,8.46,8.35,9.35135135135135,7.417391304347826,,0.8743837071588904 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter0.1epoch,3,7.978484743825266,7.9928461848318895,7.733333333333333,8.179775280898877,8.76842105263158,7.2898550724637685,7.436666666666666,7.18,7.766666666666667,8.043478260869565,6.756521739130434,,,,,,,,,,,,,,,,8.255910095799557,7.74,8.627118644067796,8.9,7.756521739130434,8.228516028002948,8.28,8.152542372881356,9.125,7.356521739130435,,0.8577634423566926 checkpoint-865,3,7.980250998504896,7.992113758825715,7.6923076923076925,8.511111111111111,8.4375,7.327536231884058,7.422329988851728,7.16,8.033333333333333,7.730769230769231,6.765217391304348,,,,,,,,,,,,,,,,8.19699049996533,7.575757575757576,8.866666666666667,8.736842105263158,7.608695652173913,8.30956974637681,8.34,8.633333333333333,8.65625,7.608695652173913,,0.8684452583605204 llm-jp/llm-jp-3.1-8x13b-instruct4,1,,7.990634057971014,7.76,7.566666666666666,9.175,7.460869565217391,,,,,,,,,,,7.990634057971014,7.76,7.566666666666666,9.175,7.460869565217391,,,,,,,,,,,,,,,,,0.8964706673869428 ablation-52-rafathenev2.0.8.0-shisa-v2-llama-3.1-8b-lr8e6,3,7.986406929669945,7.988188405797102,7.56,8.366666666666667,8.869565217391305,7.156521739130435,7.492041715628671,7.06,7.95,8.297297297297296,6.660869565217391,,,,,,,,,,,,,,,,8.106213768115943,7.36,8.583333333333334,9.125,7.356521739130435,8.359183829138063,8.26,8.566666666666666,9.157894736842104,7.452173913043478,,0.8796401748739302 ablation-98-bestofn.atlo.rp.tl.geniac-shisa-v2-llama-3.1-8b,3,7.9818832272958415,7.987692138779096,7.7,8.21111111111111,9.045454545454545,6.994202898550725,7.475434782608695,7.28,7.6,8.5,6.521739130434782,,,,,,,,,,,,,,,,8.143242753623188,7.54,8.666666666666666,9.175,7.191304347826087,8.321163234172388,8.28,8.366666666666667,9.368421052631579,7.269565217391304,,0.8775712407050612 ablation-60-a55.dpo.enja-shisa-v2-llama-3.1-8b,4,8.143884009453137,7.987562236251785,7.78,8.200836820083682,8.880281690140846,7.089130434782609,7.775253623188407,7.48,8.116666666666667,8.652173913043478,6.852173913043479,7.338248894620486,7.22,7.610169491525424,8.175,6.3478260869565215,,,,,,,,,,,8.274239130434783,7.76,8.55,9.3,7.48695652173913,8.53848104793757,8.66,8.516666666666667,9.307692307692308,7.6695652173913045,0.10978574403809668,0.8748712748101043 CohereForAI/c4ai-command-r-plus,4,8.036688457992266,7.985690858900941,7.655,7.9625,9.28368794326241,7.041575492341357,7.684408848207475,7.34,7.8,8.869565217391305,6.728070175438597,7.735220955298389,7.5,7.425,9.051282051282051,6.964601769911504,,,,,,,,,,,8.034942168338908,7.48,8.2125,9.282051282051283,7.165217391304348,8.441711956521738,8.3,8.4125,9.75,7.304347826086956,0.03897335375887115,0.8618936267492282 ablation-148-a128.dpo.armorm.rp.tl.2e6-shisa-v2-llama-3.1-8b.checkpoint-1630,3,7.985020208367088,7.981403207331042,7.653333333333333,8.144444444444444,8.927835051546392,7.2,7.546970546984573,7.22,7.9,8.35483870967742,6.71304347826087,,,,,,,,,,,,,,,,8.08483695652174,7.56,8.25,9.025,7.504347826086956,8.326870122630991,8.18,8.283333333333333,9.461538461538462,7.3826086956521735,,0.8556241256784544 google/gemma-3-27b-it,5,8.043440371946895,7.976194334650856,8.324,8.246666666666666,7.704545454545454,7.629565217391304,8.187101449275364,8.16,8.4,8.466666666666667,7.721739130434782,,,,,,7.821141304347826,8.34,8.25,7.225,7.469565217391304,6.648097826086957,7.7,6.85,5.425,6.6173913043478265,8.620797101449275,8.46,8.966666666666667,8.9,8.156521739130435,8.785011148272018,8.96,8.766666666666667,9.23076923076923,8.182608695652174,,0.8500213939698252 ablation-128-shisav2.gbs128.1e5-shisa-v2-llama-3.1-8b,3,7.971505346500649,7.975625423269674,7.44,8.216666666666667,9.158878504672897,7.086956521739131,7.502735507246377,6.92,7.883333333333334,8.625,6.582608695652174,,,,,,,,,,,,,,,,8.063260869565218,7.24,8.4,9.3,7.3130434782608695,8.344399585921325,8.16,8.366666666666667,9.485714285714286,7.3652173913043475,,0.8660318483348459 ablation-14-ratulu405b-shisa-v2-llama-3.1-8b-lr8e6,3,7.9550538732479446,7.974714407502131,7.52,8.266666666666667,8.941176470588236,7.171014492753623,7.422427536231885,7.12,7.816666666666666,8.04,6.71304347826087,,,,,,,,,,,,,,,,8.099545707915274,7.46,8.55,9.179487179487179,7.208695652173913,8.323527841342488,7.98,8.433333333333334,9.289473684210526,7.591304347826087,,0.8638476303178866 ablation-191-finalsft2-shisa-v2-qwen2.5-7b,3,7.9646314808640675,7.968485101107263,7.54,8.377777777777778,8.646017699115044,7.310144927536232,7.570745950554135,7.08,8.066666666666666,8.205882352941176,6.930434782608696,,,,,,,,,,,,,,,,8.129855072463767,7.46,8.583333333333334,8.85,7.626086956521739,8.189439799331105,8.08,8.483333333333333,8.820512820512821,7.373913043478261,,0.8536900802545003 ablation-136-shisav2.gbs128.1.2e5-shisa-v2-llama-3.1-8b,3,7.961868669984426,7.967526757409864,7.34,8.29050279329609,9.201923076923077,7.0376811594202895,7.528586638883948,6.96,7.830508474576271,8.758620689655173,6.565217391304348,,,,,,,,,,,,,,,,8.080289855072463,7.04,8.683333333333334,9.25,7.3478260869565215,8.271071428571428,8.02,8.35,9.514285714285714,7.2,,0.8635156184666463 ablation-99-bestofn.atlo.rp.tlx-shisa-v2-llama-3.1-8b,3,7.952394201700754,7.9658748063075375,7.6,8.372222222222222,8.981132075471699,6.910144927536232,7.403856682769726,7.08,7.9,8.296296296296296,6.339130434782609,,,,,,,,,,,,,,,,8.12661231884058,7.48,8.616666666666667,9.175,7.234782608695652,8.313232998885173,8.24,8.6,9.256410256410257,7.156521739130435,,0.8696405018161488 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter0,3,7.950849623025655,7.957231533209186,7.733333333333333,8.206703910614525,8.555555555555555,7.333333333333333,7.380144927536232,7.18,7.766666666666667,7.8,6.773913043478261,,,,,,,,,,,,,,,,8.27282608695652,7.9,8.5,8.9,7.791304347826087,8.193195944400681,8.12,8.35593220338983,8.862068965517242,7.434782608695652,,0.8529063982964773 ablation-82-bestofn.random-shisa-v2-llama-3.1-8b-lr8e6,3,7.950237434307363,7.956267864150838,7.404682274247492,8.511111111111111,8.654205607476635,7.255072463768116,7.492255434782608,7.0,8.15,8.0625,6.756521739130434,,,,,,,,,,,,,,,,8.124950592885376,7.212121212121212,8.783333333333333,9.0,7.504347826086956,8.227475845410629,8.0,8.6,8.805555555555555,7.504347826086956,,0.8735492938055791 deepseek-ai/DeepSeek-V3.1-Terminus,1,7.954094202898551,7.954094202898551,8.42,7.933333333333334,7.75,7.71304347826087,,,,,,,,,,,,,,,,7.954094202898551,8.42,7.933333333333334,7.75,7.71304347826087,,,,,,,,,,,,0.862216010703124 ablation-89-rp.dpo.test-shisa-v2-llama-3.1-8b,3,7.944808779005395,7.954057717644674,7.110367892976589,8.516666666666667,9.018181818181818,7.171014492753623,7.431587190275829,6.64,8.033333333333333,8.32258064516129,6.730434782608696,,,,,,,,,,,,,,,,8.126600241545892,7.111111111111111,8.883333333333333,9.225,7.28695652173913,8.266989966555183,7.58,8.633333333333333,9.35897435897436,7.495652173913044,,0.8774812840944293 ablation-133-geniac.gbs128.8e6-shisa-v2-llama-3.1-8b,3,7.944199989386686,7.95320481963183,7.473333333333334,8.245810055865922,8.954545454545455,7.139130434782609,7.505624123422161,7.08,8.0,8.290322580645162,6.6521739130434785,,,,,,,,,,,,,,,,8.077499999999999,7.36,8.45,9.1,7.4,8.240471014492755,7.98,8.283333333333333,9.333333333333334,7.3652173913043475,,0.8755133515035806 ablation-32-rafbestseq.reasoning-shisa-v2-llama-3.1-8b,3,7.929938776415909,7.94700372660791,7.88628762541806,8.13888888888889,8.858490566037736,6.904347826086957,7.323902691511387,7.36,7.616666666666666,7.892857142857143,6.426086956521739,,,,,,,,,,,,,,,,8.171699858112902,7.818181818181818,8.55,9.179487179487179,7.139130434782609,8.277148829431438,8.48,8.25,9.23076923076923,7.147826086956521,,0.8698363273811575 checkpoint-519,3,7.9268573730172704,7.94205221107395,7.5,8.188888888888888,8.98076923076923,7.098550724637681,7.472728539576365,7.2,7.816666666666666,8.23076923076923,6.643478260869565,,,,,,,,,,,,,,,,8.035942028985508,7.18,8.533333333333333,9.1,7.3304347826086955,8.256706712433257,8.12,8.216666666666667,9.368421052631579,7.321739130434783,,0.8663162369770246 ablation-134-geniac.gbs128.5e6-shisa-v2-llama-3.1-8b,3,7.935339483024137,7.938327424366336,7.573333333333333,8.134078212290502,8.990825688073395,7.055072463768116,7.443863636363636,6.98,7.65,8.545454545454545,6.6,,,,,,,,,,,,,,,,8.057463768115941,7.44,8.533333333333333,9.1,7.156521739130435,8.301703103250635,8.3,8.220338983050848,9.277777777777779,7.408695652173913,,0.8689808181432925 ablation-127-shisav2.gbs128.5e6-shisa-v2-llama-3.1-8b,3,7.929310385417724,7.932947788926049,7.377926421404682,8.311111111111112,9.083333333333334,6.959420289855072,7.433559782608695,6.7,7.95,8.5625,6.521739130434782,,,,,,,,,,,,,,,,7.989308849363198,7.252525252525253,8.516666666666667,9.075,7.113043478260869,8.361425120772948,8.18,8.466666666666667,9.555555555555555,7.243478260869566,,0.8750070948142882 ablation-132-geniac.gbs128.1e5-shisa-v2-llama-3.1-8b,3,7.916152036636323,7.930231473729968,7.413333333333333,8.22905027932961,9.058252427184467,7.0202898550724635,7.449257695141999,6.92,7.983050847457627,8.346153846153847,6.547826086956522,,,,,,,,,,,,,,,,8.020670289855072,7.22,8.383333333333333,9.175,7.304347826086956,8.264448687818252,8.1,8.316666666666666,9.432432432432432,7.208695652173913,,0.8724173318479853 ablation-100-bestofn.atlo.rp.tlx50-shisa-v2-llama-3.1-8b,3,7.914240496150059,7.928335618702008,7.486666666666666,8.382022471910112,8.850467289719626,6.994186046511628,7.4036258164405755,7.08,8.033898305084746,7.9655172413793105,6.535087719298246,,,,,,,,,,,,,,,,8.035256079587326,7.36,8.64406779661017,9.05,7.086956521739131,8.289744469870328,8.02,8.466666666666667,9.31578947368421,7.356521739130435,,0.8687147717364107 unsloth/phi-4,6,7.968353518017706,7.927800285463329,8.39,7.830555555555556,8.151515151515152,7.339130434782609,8.18362977602108,8.4,8.233333333333333,8.727272727272727,7.373913043478261,7.7380615942028985,8.12,7.533333333333333,8.125,7.173913043478261,7.958134057971015,8.48,8.016666666666667,8.075,7.260869565217392,6.299311594202899,7.84,5.683333333333334,5.3,6.373913043478261,8.579601449275362,8.38,8.766666666666667,9.25,7.921739130434783,8.851424485125857,9.12,8.75,9.605263157894736,7.930434782608696,0.02976093185757713,0.8681897910107866 ablation-83-bestofn.atlo-shisa-v2-llama-3.1-8b-lr8e6,3,7.922008571607053,7.927299861973775,7.253333333333333,8.438888888888888,8.82857142857143,7.188405797101449,7.4891704147926035,6.82,7.966666666666667,8.448275862068966,6.721739130434782,,,,,,,,,,,,,,,,8.056394927536232,7.16,8.766666666666667,8.925,7.373913043478261,8.215169082125604,7.78,8.583333333333334,9.027777777777779,7.469565217391304,,0.8712848540022452 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter0.2epoch,3,7.902864432221147,7.9262588652482275,7.793333333333333,8.15,8.361702127659575,7.4,7.357585638998683,7.32,7.716666666666667,7.454545454545454,6.939130434782609,,,,,,,,,,,,,,,,8.184003623188406,7.74,8.566666666666666,8.725,7.7043478260869565,8.143609601449274,8.32,8.166666666666666,8.53125,7.556521739130435,,0.866316069864838 AXCXEPT/Llama-3.1-8B-EZO-1.1-it,3,7.910055640719923,7.9251348435814455,7.566666666666666,8.255555555555556,8.611650485436893,7.266666666666667,7.3765217391304345,7.06,7.7,7.92,6.826086956521739,,,,,,,,,,,,,,,,8.040688405797102,7.42,8.616666666666667,8.7,7.426086956521739,8.297877574370709,8.22,8.45,8.973684210526315,7.547826086956522,,0.8803782308816663 ablation-72-a55.simpo.armorm.v2-shisa-v2-llama-3.1-8b,3,7.917923751501974,7.9223553356493674,7.786666666666667,8.045197740112995,8.628571428571428,7.228985507246377,7.435036231884059,7.28,7.616666666666666,8.0,6.843478260869565,,,,,,,,,,,,,,,,8.055819823139277,7.72,8.457627118644067,8.55,7.495652173913044,8.25848361533519,8.36,8.068965517241379,9.257142857142858,7.3478260869565215,,0.8672158832422118 ablation-38-rafathenev2.cmrmix.fixedlength-shisa-v2-llama-3.1-8b-lr8e6,3,7.903056292611804,7.920776890466331,7.32,8.21111111111111,8.96938775510204,7.182608695652174,7.402300724637682,6.94,7.883333333333334,8.125,6.660869565217391,,,,,,,,,,,,,,,,8.091073021181716,7.16,8.65,9.128205128205128,7.426086956521739,8.198074534161492,7.86,8.1,9.371428571428572,7.460869565217391,,0.8718523484819863 ablation-135-geniac.gbs128.2e6-shisa-v2-llama-3.1-8b,3,7.905243524946211,7.913909491332765,7.3933333333333335,8.227777777777778,9.049019607843137,6.9855072463768115,7.3598395445134575,6.82,7.633333333333334,8.464285714285714,6.521739130434782,,,,,,,,,,,,,,,,8.101304347826087,7.34,8.65,9.25,7.165217391304348,8.245920716112533,8.02,8.4,9.294117647058824,7.269565217391304,,0.8641431629984998 mistralai/Mistral-Small-24B-Instruct-2501,4,8.07359260937718,7.909403309906018,8.21,7.953974895397489,8.266666666666667,7.206971677559912,7.68768115942029,7.9,7.916666666666667,7.916666666666667,7.017391304347826,7.2706140350877195,8.0,7.133333333333334,7.3,6.649122807017544,,,,,,,,,,,8.283695652173913,8.1,8.45,8.95,7.6347826086956525,8.413590316008495,8.84,8.322033898305085,8.970588235294118,7.521739130434782,0.11044164501296788,0.8625890710182733 ablation-06-ratulu70b-shisa-v2-llama3.1-8b-lr8e6,3,7.88140689772485,7.906459223648865,7.326666666666667,8.240223463687151,8.96039603960396,7.098550724637681,7.366757553426677,6.88,7.830508474576271,8.0,6.756521739130434,,,,,,,,,,,,,,,,8.029841137123746,7.26,8.583333333333334,9.128205128205128,7.147826086956521,8.222569676700111,7.84,8.3,9.35897435897436,7.391304347826087,,0.8757071487041698 ablation-07-raftulu70b-shisa-v2-llama3.1-8b-lr8e6,3,7.877572096152764,7.903381250661733,7.413333333333333,8.223463687150838,8.817307692307692,7.159420289855072,7.329492753623189,6.98,7.866666666666666,7.68,6.791304347826087,,,,,,,,,,,,,,,,7.98284358879882,7.3,8.338983050847459,9.075,7.217391304347826,8.294570791527313,7.96,8.466666666666667,9.282051282051283,7.469565217391304,,0.8794915486420221 checkpoint-1038,3,7.867748912719119,7.894286004687425,7.4,8.338888888888889,8.623762376237623,7.214492753623189,7.290760869565217,7.0,7.95,7.5,6.71304347826087,,,,,,,,,,,,,,,,8.05133779264214,7.1,8.566666666666666,9.025641025641026,7.51304347826087,8.234610983981693,8.1,8.5,8.921052631578947,7.417391304347826,,0.8621161085539711 ablation-19-rafbestseqshuffle-shisa-v2-llama-3.1-8b-lr8e6,3,7.874953884442997,7.892062484819044,7.48,8.167597765363128,8.625,7.2956521739130435,7.333835403726708,7.04,7.95,7.571428571428571,6.773913043478261,,,,,,,,,,,,,,,,8.059787214443627,7.2,8.457627118644067,9.025,7.556521739130435,8.214130434782607,8.2,8.1,9.0,7.556521739130435,,0.8747680482179259 Qwen/Qwen1.5-72B-Chat,4,8.008419953858049,7.89012882492738,7.920792079207921,7.981191222570533,8.553956834532373,7.104575163398692,7.569833151449432,7.643564356435643,7.746835443037975,8.045454545454545,6.843478260869565,7.367158577270771,7.603960396039604,7.1625,7.85,6.852173913043479,,,,,,,,,,,8.12589942234529,7.821782178217822,8.475,8.945945945945946,7.260869565217392,8.447818416710092,8.613861386138614,8.5375,9.175,7.464912280701754,0.08704324331577493,0.8689893664994578 025-qwen3-8b-v2new-dpo405b,1,,7.889782608695652,8.22,8.35,8.05,6.939130434782609,,,,,,,,,,,7.889782608695652,8.22,8.35,8.05,6.939130434782609,,,,,,,,,,,,,,,,,0.870050651607565 ablation-69-a67.dpo.armorm-ablation-67-nemo-12b,3,7.87857808092381,7.8880995261898725,7.79933110367893,7.4525139664804465,8.524390243902438,7.776162790697675,7.25322463768116,6.96,6.833333333333333,8.15,7.069565217391304,,,,,,,,,,,,,,,,8.340851449275362,8.3,8.066666666666666,8.675,8.321739130434782,8.032136710548842,8.141414141414142,7.4576271186440675,8.590909090909092,7.93859649122807,,0.7409630935193532 ablation-18-rafbestseq-shisa-v2-llama-3.1-8b-lr8e6,3,7.8722164544472175,7.8803765920070274,7.593333333333334,8.294444444444444,8.709090909090909,6.92463768115942,7.366259057971014,7.2,7.866666666666666,7.9375,6.460869565217391,,,,,,,,,,,,,,,,7.967373188405797,7.48,8.566666666666666,8.875,6.947826086956522,8.274856979405033,8.1,8.45,9.18421052631579,7.3652173913043475,,0.8703028838290323 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-sft-3epoch-dpo,1,,7.876721014492754,8.2,8.266666666666667,7.675,7.3652173913043475,,,,,,,,,,,7.876721014492754,8.2,8.266666666666667,7.675,7.3652173913043475,,,,,,,,,,,,,,,,,0.8762440058173695 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-sft-2epoch-dpo,1,,7.87269927536232,8.46,8.216666666666667,7.475,7.339130434782609,,,,,,,,,,,7.87269927536232,8.46,8.216666666666667,7.475,7.339130434782609,,,,,,,,,,,,,,,,,0.8734937784567809 ablation-15-raftulu405b-shisa-v2-llama-3.1-8b-lr8e6,3,7.852734031739787,7.8720119352088656,7.46,8.4,8.735294117647058,6.892753623188406,7.403840579710145,7.14,8.066666666666666,8.0,6.408695652173913,,,,,,,,,,,,,,,,7.932329988851729,7.2,8.666666666666666,8.897435897435898,6.965217391304348,8.202753623188405,8.04,8.466666666666667,9.0,7.304347826086956,,0.8695898673890377 ablation-94-gemma3.rp.tl-shisa-v2-llama-3.1-8b,3,7.86828895904058,7.868322066320257,7.593333333333334,8.256983240223464,8.663551401869158,6.959420289855072,7.313005287896592,7.02,7.75,8.108108108108109,6.373913043478261,,,,,,,,,,,,,,,,8.123676308032424,7.42,8.677966101694915,9.075,7.321739130434783,8.168152173913043,8.34,8.35,8.8,7.182608695652174,,0.8661070334538438 ablation-43-rewild-shisa-v2-llama-3.1-8b-lr8e6,3,7.832183958467555,7.863086214480734,7.466666666666667,8.28491620111732,8.8659793814433,6.834782608695652,7.255155630417237,7.04,7.9491525423728815,7.761904761904762,6.269565217391304,,,,,,,,,,,,,,,,7.993107580824972,7.36,8.483333333333333,9.076923076923077,7.052173913043478,8.217386408147277,8.0,8.416666666666666,9.27027027027027,7.182608695652174,,0.8879511436699788 expo-l31-a92-0.5,3,7.843309492070003,7.8573261325312185,7.6,8.28888888888889,8.38679245283019,7.153623188405797,7.27195652173913,7.24,8.0,7.3,6.547826086956522,,,,,,,,,,,,,,,,8.104039855072463,7.56,8.533333333333333,8.775,7.547826086956522,8.139915458937198,8.0,8.333333333333334,8.86111111111111,7.3652173913043475,,0.8535627850212832 ablation-163-shisav2.if50-shisa-v2-llama-3.1-8b,4,8.047397054532347,7.851894270985312,7.625,8.041666666666666,8.832214765100671,6.908695652173913,7.693744671781756,7.3,8.016666666666667,8.823529411764707,6.6347826086956525,,,,,,7.093550724637681,7.38,6.983333333333333,7.75,6.260869565217392,,,,,,8.200398550724637,7.54,8.733333333333333,9.25,7.278260869565218,8.443550724637682,8.28,8.433333333333334,9.6,7.460869565217391,,0.8738950414066937 ablation-65-a55.simpo.armorm-shisa-v2-llama-3.1-8b,3,7.853035224883559,7.841650300239288,7.7,7.838888888888889,8.523364485981308,7.304347826086956,7.339874657265961,7.1,7.566666666666666,7.918918918918919,6.773913043478261,,,,,,,,,,,,,,,,8.04144927536232,7.86,8.166666666666666,8.4,7.739130434782608,8.189166666666667,8.14,7.783333333333333,9.433333333333334,7.4,,0.8642807874432077 ablation-67-rafathenev2.rp.tl.yahoo-mistral-nemo-12b,3,7.836036480173231,7.83719833751653,7.68,7.687150837988827,8.28888888888889,7.6927536231884055,7.3198872785829305,7.2,7.066666666666666,7.925925925925926,7.086956521739131,,,,,,,,,,,,,,,,8.1843115942029,7.88,8.283333333333333,8.4,8.173913043478262,8.002748710390566,7.96,7.711864406779661,8.521739130434783,7.817391304347826,,0.6696531264751152 shisa-ai/shisa-v2-llama3.3-70b-FP8-block,2,7.504945652173912,7.833605072463768,8.5,7.983333333333333,8.025,6.826086956521739,,,,,,,,,,,8.490923913043478,8.68,8.95,9.125,7.208695652173913,7.176286231884058,8.32,7.016666666666667,6.925,6.443478260869565,,,,,,,,,,,,0.8639646447123173 checkpoint-1211,3,7.806214179271244,7.8318961352656995,7.533333333333333,8.188888888888888,8.33,7.27536231884058,7.174221014492753,7.14,7.583333333333333,7.208333333333333,6.765217391304348,,,,,,,,,,,,,,,,8.030908584169454,7.2,8.7,8.64102564102564,7.582608695652174,8.18783098315707,8.26,8.283333333333333,8.72972972972973,7.478260869565218,,0.8614535870309958 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-dpo-kiseki-dpo,1,,7.829692028985507,8.08,8.583333333333334,7.325,7.3304347826086955,,,,,,,,,,,7.829692028985507,8.08,8.583333333333334,7.325,7.3304347826086955,,,,,,,,,,,,,,,,,0.879764718875532 meta-llama/Llama-3.3-70B-Instruct,6,7.877466170303127,7.82938492063492,7.993333333333333,8.119444444444444,8.071428571428571,7.133333333333334,7.836156633221851,7.64,8.416666666666666,8.192307692307692,7.095652173913043,7.8060688405797105,7.9,7.916666666666667,8.425,6.982608695652174,7.6357608695652175,8.08,7.95,7.6,6.913043478260869,6.7334420289855075,7.72,6.583333333333333,6.1,6.530434782608696,8.431371237458194,7.98,9.033333333333333,9.051282051282051,7.660869565217391,8.55697603121516,8.64,8.816666666666666,9.153846153846153,7.6173913043478265,0.009146387404663787,0.8712019553985876 ablation-62-dpo.notseq-ablation-60-a55.dpo.enja,3,7.815386008918617,7.819142512077295,7.391304347826087,8.03888888888889,9.017391304347827,6.828985507246377,7.33413043478261,6.98,7.666666666666667,8.333333333333334,6.356521739130435,,,,,,,,,,,,,,,,7.917814009661836,7.111111111111111,8.316666666666666,9.2,7.043478260869565,8.190457079152731,8.08,8.133333333333333,9.461538461538462,7.086956521739131,,0.8909918143608869 fireworks_ai/accounts/fireworks/models/llama-v3p1-70b-instruct,4,7.91011294043977,7.818451125831934,7.765,8.047210300429185,8.572463768115941,6.889130434782609,7.431241709653648,7.34,7.576271186440678,8.2,6.608695652173913,7.411557971014493,7.66,7.666666666666667,7.65,6.6695652173913045,,,,,,,,,,,8.107892592165456,7.68,8.620689655172415,8.974358974358974,7.156521739130435,8.282866334108045,8.38,8.322033898305085,9.307692307692308,7.121739130434783,0.0672672292890445,0.8644604886387202 together_ai/meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo,4,7.908364712207245,7.814502841988853,7.53,8.025210084033613,8.63758389261745,7.065217391304348,7.4667305330385645,7.14,7.745762711864407,8.233333333333333,6.747826086956522,7.415263448784082,7.4,7.576271186440678,7.85,6.834782608695652,,,,,,,,,,,8.049148550724638,7.46,8.433333333333334,9.025,7.278260869565218,8.303076923076922,8.12,8.333333333333334,9.35897435897436,7.4,0.06649814491810388,0.8628287439020844 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-sft-1epoch-dpo,1,,7.803297101449276,8.24,8.116666666666667,7.5,7.356521739130435,,,,,,,,,,,7.803297101449276,8.24,8.116666666666667,7.5,7.356521739130435,,,,,,,,,,,,,,,,,0.8718241939116402 shisa-v1-llama3.1-70b,4,7.8958571521787455,7.797103772859257,7.7293233082706765,8.159663865546218,8.68421052631579,6.6152173913043475,7.462576277650649,7.3,8.016666666666667,8.368421052631579,6.165217391304348,7.360357946026987,7.68,7.310344827586207,8.225,6.226086956521739,,,,,,,,,,,8.050895445134575,7.66,8.783333333333333,8.742857142857142,7.017391304347826,8.272853113070504,8.282828282828282,8.5,9.256410256410257,7.052173913043478,0.07275450597355976,0.8732896226203608 ablation-21-rafbestseq.2epoch-shisa-v2-llama-3.1-8b-lr8e6,3,7.769780750650316,7.795325622445188,7.426666666666667,8.072222222222223,8.740384615384615,6.942028985507246,7.243260869565217,7.02,7.6,7.64,6.71304347826087,,,,,,,,,,,,,,,,7.90247491638796,7.34,8.433333333333334,8.897435897435898,6.939130434782609,8.138061594202897,7.92,8.183333333333334,9.275,7.173913043478261,,0.874637660776889 021-qwen3-8b-v2new-sft,1,,7.789021739130435,7.98,8.1,8.05,7.026086956521739,,,,,,,,,,,7.789021739130435,7.98,8.1,8.05,7.026086956521739,,,,,,,,,,,,,,,,,0.8719966597980497 shisa-ai/qwen3-30b-a3b-merge-nuslerp-166-165-164,2,7.446748188405797,7.782536231884058,7.92,8.016666666666667,7.75,7.443478260869565,,,,,,,,,,,8.454112318840581,8.14,8.816666666666666,9.025,7.834782608695652,7.110960144927536,7.7,7.216666666666667,6.475,7.052173913043478,,,,,,,,,,,,0.872094116510085 shisa-ai/166-qwen3-30b-a3b-v2.1-dpo-1.2e7,2,7.427586050724637,7.778668478260869,8.0,8.125,7.8375,7.1521739130434785,,,,,,,,,,,8.480833333333333,8.34,8.983333333333333,9.0,7.6,7.0765036231884055,7.66,7.266666666666667,6.675,6.7043478260869565,,,,,,,,,,,,0.8677244720945704 checkpoint-1384,3,7.7315449024858,7.777287137681159,7.733333333333333,8.15,8.15625,7.069565217391304,6.978975155279503,7.16,7.766666666666667,6.476190476190476,6.51304347826087,,,,,,,,,,,,,,,,8.041825529542923,7.66,8.516666666666667,8.538461538461538,7.452173913043478,8.128091787439613,8.38,8.166666666666666,8.722222222222221,7.243478260869566,,0.8656363467185909 shisa-v2-unphi-14b-W8A8-ascend,1,,7.774836956521739,8.42,8.05,7.525,7.104347826086957,,,,,,,,,,,7.774836956521739,8.42,8.05,7.525,7.104347826086957,,,,,,,,,,,,,,,,,0.8635595426496923 shisa-ai/chotto-14b-20250922-W8A8-INT8-spin,1,,7.767028985507246,8.3,8.083333333333334,7.45,7.234782608695652,,,,,,,,,,,7.767028985507246,8.3,8.083333333333334,7.45,7.234782608695652,,,,,,,,,,,,,,,,,0.8705372669370235 017-qwen3-8b-v2-dpo405b-clr-nothink,1,,7.766105072463768,7.88,8.083333333333334,8.075,7.026086956521739,,,,,,,,,,,7.766105072463768,7.88,8.083333333333334,8.075,7.026086956521739,,,,,,,,,,,,,,,,,0.8762485614514584 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-kiseki-dpo,1,,7.760688405797101,8.2,8.316666666666666,7.3,7.226086956521739,,,,,,,,,,,7.760688405797101,8.2,8.316666666666666,7.3,7.226086956521739,,,,,,,,,,,,,,,,,0.8753768146252209 shisa-ai/165-qwen3-30b-a3b-v2.1-dpo-2e7,2,7.423940217391304,7.757083333333333,7.87,7.983333333333333,7.975,7.2,,,,,,,,,,,8.42336956521739,8.1,8.85,9.1,7.643478260869565,7.090797101449275,7.64,7.116666666666666,6.85,6.756521739130434,,,,,,,,,,,,0.862147398720876 spin-00-a55.baseline-shisa-v2-llama-3.1-8b.1epoch,3,7.7232664748168185,7.7547457411645055,7.62,7.977777777777778,8.105263157894736,7.315942028985507,7.068214756258235,7.1,7.533333333333333,6.909090909090909,6.730434782608696,,,,,,,,,,,,,,,,8.065108695652174,7.58,8.35,8.6,7.730434782608696,8.004996706192358,8.18,8.05,8.303030303030303,7.48695652173913,,0.8737653847016189 openai/gpt-oss-120b,1,7.74644927536232,7.74644927536232,8.38,7.916666666666667,7.35,7.339130434782609,,,,,,,,,,,,,,,,7.74644927536232,8.38,7.916666666666667,7.35,7.339130434782609,,,,,,,,,,,,0.8031177330066349 ablation-64-a55.simpo.enja-shisa-v2-llama-3.1-8b,3,7.736268860218757,7.744550899786682,7.3933333333333335,7.88268156424581,8.377551020408163,7.3246376811594205,7.326040372670808,7.12,7.5,7.892857142857143,6.791304347826087,,,,,,,,,,,,,,,,7.96108138238573,7.28,8.133333333333333,8.717948717948717,7.71304347826087,7.913402786031806,7.78,8.016949152542374,8.387096774193548,7.469565217391304,,0.8920769052736814 moonshotai/kimi-k2.5,1,7.742572463768116,7.742572463768116,8.6,7.533333333333333,7.55,7.28695652173913,,,,,,,,,,,,,,,,7.742572463768116,8.6,7.533333333333333,7.55,7.28695652173913,,,,,,,,,,,,0.7945186818823131 shisa-ai/chotto-14b-20250922,2,7.433999094202898,7.740461956521738,8.02,7.875,7.6625,7.404347826086957,,,,,,,,,,,8.35338768115942,8.24,8.633333333333333,8.775,7.765217391304348,7.127536231884058,7.8,7.116666666666666,6.55,7.043478260869565,,,,,,,,,,,,0.8891407120162093 shisa-ai/167-qwen3-30b-a3b-v2.1-dpo-4e7,2,7.403233695652174,7.7384420289855065,7.89,8.033333333333333,7.7,7.3304347826086955,,,,,,,,,,,8.408858695652174,8.08,8.9,8.925,7.730434782608696,7.068025362318841,7.7,7.166666666666667,6.475,6.930434782608696,,,,,,,,,,,,0.8661059440234802 shisa-v1-qwen2.5-32b,4,7.848927617521367,7.737536928651059,7.86,8.145833333333334,8.176923076923076,6.767391304347826,7.397898550724638,7.48,8.033333333333333,7.6,6.478260869565218,7.2200724637681155,7.86,7.383333333333334,7.35,6.28695652173913,,,,,,,,,,,8.046618357487922,7.5,8.7,8.777777777777779,7.208695652173913,8.21365663322185,8.6,8.466666666666667,8.692307692307692,7.095652173913043,0.08709817760264633,0.8644345146225556 shisa-ai/shisa-v2-unphi4-14b-denoted-chotto-dpo,1,,7.735724637681159,8.34,7.983333333333333,7.35,7.269565217391304,,,,,,,,,,,7.735724637681159,8.34,7.983333333333333,7.35,7.269565217391304,,,,,,,,,,,,,,,,,0.8730295813569863 elyza/Llama-3-ELYZA-JP-8B,4,7.846136599460382,7.735523430511634,7.535,7.802521008403361,8.724137931034482,6.880434782608695,7.341086956521739,7.06,7.6,8.2,6.504347826086956,7.242612380250552,7.3,6.966101694915254,8.2,6.504347826086956,,,,,,,,,,,7.993388909358879,7.52,8.322033898305085,8.975,7.156521739130435,8.314547101449275,8.26,8.316666666666666,9.325,7.356521739130435,0.08332963128822747,0.8633334600945006 Mistral-Nemo-Japanese-Instruct-2408-q4f16_1-MLC,4,7.899667605176374,7.7331269424446285,7.41,8.208333333333334,8.635135135135135,6.679039301310044,7.565434782608696,7.14,8.066666666666666,8.533333333333333,6.521739130434782,7.064524336283187,7.08,7.45,7.675,6.053097345132743,,,,,,,,,,,8.027168338907469,7.34,8.7,9.051282051282051,7.017391304347826,8.272940356744705,8.08,8.616666666666667,9.282051282051283,7.113043478260869,0.11821648976476962,0.8663039494192194 ablation-22-rafbestseqshuffle.1epoch-shisa-v2-llama-3.1-8b-lr8e6,3,7.691976444018369,7.7296989587362255,7.311036789297659,7.988888888888889,8.755102040816327,6.863768115942029,7.0657971014492755,6.84,7.566666666666666,7.5,6.356521739130435,,,,,,,,,,,,,,,,7.82760590858417,7.0,8.25,9.025641025641026,7.034782608695652,8.144803807303807,8.1010101010101,8.15,9.128205128205128,7.2,,0.8797451232101675 checkpoint-1557,3,7.702534524332091,7.725562391760094,7.613333333333333,8.188888888888888,8.018867924528301,7.081159420289855,6.9735144927536235,7.06,7.666666666666667,6.75,6.417391304347826,,,,,,,,,,,,,,,,8.037771739130434,7.5,8.55,8.675,7.426086956521739,8.073289473684211,8.28,8.35,8.263157894736842,7.4,,0.8594762934697179 Rakuten/RakutenAI-2.0-8x7B-instruct,3,7.709568616795548,7.72492397137746,7.72,7.8,8.51923076923077,6.8604651162790695,7.239473684210527,7.1,7.616666666666666,7.916666666666667,6.324561403508772,,,,,,,,,,,,,,,,7.825362318840579,7.7,7.916666666666667,8.65,7.034782608695652,8.048514492753624,8.36,7.866666666666666,8.75,7.217391304347826,,0.8821323292079529 AXCXEPT/Qwen3-EZO-8B-beta,1,,7.715434782608695,7.64,8.35,7.95,6.921739130434783,,,,,,,,,,,7.715434782608695,7.64,8.35,7.95,6.921739130434783,,,,,,,,,,,,,,,,,0.3114587734159963 shisa-ai/shisa-v2.1-unphi4-14b-152-155-149-nuslerp,2,7.316807065217391,7.712835144927537,8.27,7.866666666666666,7.5625,7.1521739130434785,,,,,,,,,,,8.504891304347826,8.5,8.85,9.0,7.6695652173913045,6.920778985507246,8.04,6.883333333333334,6.125,6.6347826086956525,,,,,,,,,,,,0.8695485579728534 ablation-17-rafbestmixnoshuffle-shisa-v2-llama-3.1-8b-lr8e6,3,7.691784707734988,7.711227459702492,7.473333333333334,8.005555555555556,8.673267326732674,6.6927536231884055,7.081304347826087,6.9,7.5,7.76,6.165217391304348,,,,,,,,,,,,,,,,7.896563545150502,7.36,8.416666666666666,8.948717948717949,6.860869565217391,8.078043478260868,8.16,8.1,9.0,7.052173913043478,,0.8729687929927908 ablation-108-cpt.rptext-shisa-v2-llama-3.1-8b,3,7.697989708519245,7.711015621472753,7.16,8.011111111111111,8.757009345794392,6.915942028985508,7.100910794602699,6.64,7.45,7.931034482758621,6.3826086956521735,,,,,,,,,,,,,,,,7.911847826086957,6.98,8.45,9.0,7.217391304347826,8.06818459191457,7.86,8.133333333333333,9.131578947368421,7.147826086956521,,0.8720749535726968 gpt-3.5-turbo-0125,4,7.828950818228252,7.710495815305778,7.395,7.8875,8.47887323943662,7.080610021786493,7.466938405797101,7.1,7.775,8.166666666666666,6.826086956521739,7.205310758082497,7.24,6.975,7.641025641025641,6.965217391304348,,,,,,,,,,,7.9292934782608695,7.34,8.5,8.825,7.052173913043478,8.209075573549258,7.9,8.3,9.153846153846153,7.482456140350878,0.08655283319268249,0.8694954425019156 checkpoint-173,3,7.691187662273342,7.70299035086466,7.1,8.05586592178771,8.803921568627452,6.852173913043479,7.182214443625644,6.5,7.627118644067797,8.28,6.321739130434783,,,,,,,,,,,,,,,,7.80015607580825,6.88,8.266666666666667,8.897435897435898,7.156521739130435,8.079389778794814,7.92,8.266666666666667,9.052631578947368,7.078260869565217,,0.8618376932400965 shisa-ai/shisa-v1-llama3-70b,3,7.66256200019787,7.7023066305675005,7.4,8.155555555555555,8.604395604395604,6.649275362318841,7.046274703557312,6.76,7.75,7.7272727272727275,5.947826086956522,,,,,,,,,,,,,,,,7.892173913043478,7.56,8.45,8.75,6.808695652173913,8.009492753623189,7.88,8.266666666666667,8.7,7.191304347826087,,0.865860376545867 shisa-ai/shisa-v2.1-unphi4-14b-152-155-149-model_stock,2,7.310819746376811,7.699411231884057,8.25,7.766666666666667,7.6375,7.143478260869565,,,,,,,,,,,8.476594202898552,8.46,8.683333333333334,9.05,7.71304347826087,6.922228260869565,8.04,6.85,6.225,6.573913043478261,,,,,,,,,,,,0.8506612742163484 abeja/ABEJA-Qwen2.5-32b-Japanese-v1.0,2,7.407907608695652,7.693768115942029,8.32,7.758333333333334,7.575,7.121739130434783,,,,,,,,,,,8.265489130434782,8.7,8.5,8.375,7.48695652173913,7.122047101449276,7.94,7.016666666666667,6.775,6.756521739130434,,,,,,,,,,,,0.9060275442982938 ablation-20-rafbestseq.1epoch-shisa-v2-llama-3.1-8b-lr8e6,3,7.6686711860545325,7.692386879992347,7.206666666666667,8.005555555555556,8.673267326732674,6.884057971014493,7.0756159420289855,6.78,7.516666666666667,7.666666666666667,6.339130434782609,,,,,,,,,,,,,,,,7.8424275362318845,6.84,8.416666666666666,9.0,7.113043478260869,8.064254385964913,8.0,8.083333333333334,8.973684210526315,7.2,,0.8671571698425086 ablation-12-raswallow-shisa-v2-llama-3.1-8b-lr8e6,3,7.673629103388787,7.686217107926485,7.14,8.128491620111731,8.63,6.846376811594203,7.2206679650489525,6.9,7.711864406779661,7.714285714285714,6.556521739130435,,,,,,,,,,,,,,,,7.695652173913043,6.8,8.25,8.95,6.782608695652174,8.091979166666667,7.72,8.416666666666666,9.03125,7.2,,0.8770054766797826 Aratako/calm3-22b-RP-v2,3,7.671775336813323,7.683897359953196,7.133333333333334,7.833333333333333,8.981132075471699,6.787790697674419,7.1857447665056355,6.54,7.45,8.37037037037037,6.3826086956521735,,,,,,,,,,,,,,,,7.762020624303233,6.94,8.083333333333334,9.076923076923077,6.947826086956522,8.055438596491229,7.92,7.966666666666667,9.3,7.035087719298246,,0.867160803292092 sbintuitions/sarashina2.2-3b-instruct-v0.1,5,7.722329497156184,7.683397860593513,7.676,7.503333333333333,8.587301587301587,6.966956521739131,7.795532233883058,7.44,8.0,8.655172413793103,7.086956521739131,,,,,,7.49340579710145,7.52,6.966666666666667,8.8,6.6869565217391305,6.26123188405797,7.2,5.366666666666666,6.6,5.878260869565217,8.300054347826087,7.66,8.6,9.375,7.565217391304348,8.57143115942029,8.56,8.583333333333334,9.525,7.6173913043478265,,0.8597283843778201 019-qwen3-30ba3b-v2-sft-epoch1,1,,7.683278985507246,7.94,7.633333333333334,8.325,6.834782608695652,,,,,,,,,,,7.683278985507246,7.94,7.633333333333334,8.325,6.834782608695652,,,,,,,,,,,,,,,,,0.8933068806566108 shisa-ai/shisa-v2-llama3.3-70b,2,7.321988224637681,7.676838768115942,8.33,7.958333333333333,7.4625,6.956521739130435,,,,,,,,,,,8.386539855072463,8.64,8.883333333333333,8.675,7.3478260869565215,6.967137681159421,8.02,7.033333333333333,6.25,6.565217391304348,,,,,,,,,,,,0.8586452671455962 ablation-27-rafathenev2.9epochs-shisa-v2-llama-3.1-8b-lr8e6,3,7.642353883368904,7.672672662502196,7.386666666666667,8.172222222222222,8.009708737864077,7.122093023255814,6.919276315789474,6.86,7.516666666666667,6.791666666666667,6.508771929824562,,,,,,,,,,,,,,,,7.928731884057971,7.22,8.566666666666666,8.45,7.478260869565218,8.048734671125976,8.08,8.433333333333334,8.307692307692308,7.373913043478261,,0.8464476874772898 015-qwen3-8b-v2-dpo405b-nothink,1,,7.670235507246377,7.84,7.933333333333334,7.925,6.982608695652174,,,,,,,,,,,7.670235507246377,7.84,7.933333333333334,7.925,6.982608695652174,,,,,,,,,,,,,,,,,0.8830631816151563 014-smoothieqwen3-8b-v2-dpo-nothink,1,,7.667373188405797,7.98,7.916666666666667,7.825,6.947826086956522,,,,,,,,,,,7.667373188405797,7.98,7.916666666666667,7.825,6.947826086956522,,,,,,,,,,,,,,,,,0.8714195169330724 shisa-ai/shisa-v1-llama3-70b.8e6,4,7.730281048711755,7.662183977455716,7.315,8.166666666666666,8.651851851851852,6.515217391304348,7.257110507246377,6.8,7.933333333333334,8.3125,5.982608695652174,7.335780379041249,7.34,7.666666666666667,8.153846153846153,6.182608695652174,,,,,,,,,,,7.84393115942029,7.3,8.433333333333334,8.825,6.817391304347826,8.157898550724639,7.82,8.633333333333333,9.1,7.078260869565217,0.05377760092131681,0.8734808740113973 013-qwen3-8b-v2-dpo-nothink,1,,7.656503623188405,7.78,7.866666666666666,8.075,6.904347826086957,,,,,,,,,,,7.656503623188405,7.78,7.866666666666666,8.075,6.904347826086957,,,,,,,,,,,,,,,,,0.8771821427827093 ablation-32-rafbestseq.reasoning-shisa-v2-llama-3.1-8b.checkpoint-514,3,7.62803199482732,7.652387092177088,7.230769230769231,7.972222222222222,8.757281553398059,6.649275362318841,7.111557971014492,6.76,7.616666666666666,7.826086956521739,6.243478260869566,,,,,,,,,,,,,,,,7.779076086956523,7.1,8.3,8.925,6.791304347826087,7.969106829161177,7.838383838383838,8.0,9.125,6.913043478260869,,0.8698382270114813 ablation-97-geniac-shisa-v2-llama-3.1-8b,3,7.619665050370834,7.641398199245285,7.293333333333333,8.011173184357542,8.336448598130842,6.92463768115942,6.967822061191626,6.72,7.483333333333333,7.2592592592592595,6.408695652173913,,,,,,,,,,,,,,,,7.925489130434782,7.14,8.4,8.875,7.28695652173913,7.943950810611644,8.02,8.152542372881356,8.525,7.078260869565217,,0.871782283173694 ablation-13-rafswallow-shisa-v2-llama-3.1-8b-lr8e6,3,7.628086312597182,7.6349198506807205,7.133333333333334,8.005555555555556,8.618181818181819,6.782608695652174,7.12211791831357,6.7,7.683333333333334,7.818181818181818,6.28695652173913,,,,,,,,,,,,,,,,7.738623188405797,6.84,8.266666666666667,8.9,6.947826086956522,8.016684292988641,7.86,8.066666666666666,9.027027027027026,7.113043478260869,,0.8660123602267009 together_ai/meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo,4,7.730467174432751,7.634662578568362,7.35,8.11864406779661,8.237762237762238,6.832244008714597,7.343679549114331,7.0,7.833333333333333,8.037037037037036,6.504347826086956,7.234473684210527,7.28,7.625,7.375,6.657894736842105,,,,,,,,,,,7.843961352657004,7.3,8.633333333333333,8.555555555555555,6.886956521739131,8.099565217391305,7.82,8.35,8.95,7.278260869565218,0.06855972001180209,0.8585397209284408 shisa-v1-llama3-70b.q4_k_m,4,7.702851776241543,7.634067700344159,7.125,8.05020920502092,8.757575757575758,6.603485838779957,7.210072463768116,6.72,8.033333333333333,8.0,6.086956521739131,7.238586083853702,7.22,7.271186440677966,8.2,6.2631578947368425,,,,,,,,,,,7.785636506071288,6.94,8.433333333333334,8.864864864864865,6.904347826086957,8.181630434782608,7.62,8.45,9.5,7.156521739130435,0.0641376212163071,0.869805301500101 024-llama3.1-8b-v2new-dpo405b,1,,7.629601449275363,7.58,7.566666666666666,8.25,7.121739130434783,,,,,,,,,,,7.629601449275363,7.58,7.566666666666666,8.25,7.121739130434783,,,,,,,,,,,,,,,,,0.8665188235003981 llm-jp/llm-jp-3-7.2b-instruct3,3,7.618584850350055,7.626599521340248,6.986666666666666,7.7,9.155963302752294,6.663768115942029,7.124225387306347,6.5,7.133333333333334,8.689655172413794,6.173913043478261,,,,,,,,,,,,,,,,7.652536231884058,6.6,8.016666666666667,9.15,6.843478260869565,8.070978260869566,7.86,7.95,9.5,6.973913043478261,,0.8777530280510388 umiyuki/Llama-3-Umievo-itr014-Shizuko-8b,4,7.707672785233067,7.626334531358266,7.228070175438597,7.908333333333333,8.473282442748092,6.895652173913043,7.128659420289855,6.74,7.65,7.533333333333333,6.591304347826087,7.165108695652174,6.98,7.35,7.8,6.530434782608696,,,,,,,,,,,7.875697189284145,7.191919191919192,8.333333333333334,8.916666666666666,7.060869565217391,8.2,8.0,8.3,9.1,7.4,0.0757230786896678,0.8440875979180996 DataPilot/ArrowPro-7B-KUJIRA,4,7.754561086762951,7.625856531511814,7.288220551378446,7.561181434599156,8.941605839416058,6.712418300653595,7.301345755693582,6.9,7.433333333333334,8.428571428571429,6.443478260869565,7.036585695006747,6.84,6.526315789473684,8.692307692307692,6.087719298245614,,,,,,,,,,,7.958759451150756,7.373737373737374,8.233333333333333,9.054054054054054,7.173913043478261,8.132282608695652,8.04,8.0,9.35,7.139130434782609,0.1020346262912266,0.869365210609674 shisa-ai/shisa-v2-unphi4-14b,2,7.259230072463768,7.621394927536231,8.32,7.866666666666666,7.325,6.973913043478261,,,,,,,,,,,8.34572463768116,8.58,8.933333333333334,8.6,7.269565217391304,6.8970652173913045,8.06,6.8,6.05,6.678260869565217,,,,,,,,,,,,0.8734411750660591 karakuri-ai/karakuri-lm-8x7b-chat-v0.1,4,7.754057020765044,7.621222826086957,7.48,7.4125,8.625,6.967391304347826,7.3272330282227305,7.16,7.216666666666667,8.210526315789474,6.721739130434782,7.0420108695652175,7.18,6.3,7.975,6.71304347826087,,,,,,,,,,,7.918279475127302,7.54,8.116666666666667,8.972972972972974,7.043478260869565,8.149492753623187,8.04,8.016666666666667,9.15,7.391304347826087,0.10111403750840695,0.8621337132445913 AXCXEPT/Qwen3-EZO-8B-beta-nothink,1,,7.620307971014493,8.02,7.916666666666667,7.475,7.069565217391304,,,,,,,,,,,7.620307971014493,8.02,7.916666666666667,7.475,7.069565217391304,,,,,,,,,,,,,,,,,0.8579620155589499 chotto-14b-20251007-sft-0.5,1,,7.618641304347825,8.28,7.8,7.325,7.069565217391304,,,,,,,,,,,7.618641304347825,8.28,7.8,7.325,7.069565217391304,,,,,,,,,,,,,,,,,0.8581365839243891 shisa-ai/chotto-14b-20251007-sft,1,,7.617065217391303,7.94,7.85,7.4,7.278260869565218,,,,,,,,,,,7.617065217391303,7.94,7.85,7.4,7.278260869565218,,,,,,,,,,,,,,,,,0.8235260220451367 umiyuki/Umievo-itr012-Gleipnir-7B,4,7.722266081537497,7.5918691643324,7.28,7.369747899159663,8.868055555555555,6.849673202614379,7.281863354037267,6.92,7.15,8.535714285714286,6.521739130434782,7.046616001209921,7.0,6.396551724137931,8.325,6.464912280701754,,,,,,,,,,,7.8577955758962625,7.18,8.033333333333333,9.052631578947368,7.165217391304348,8.157536231884059,8.02,7.866666666666666,9.5,7.243478260869566,0.09588291460916347,0.8717943493640631 shisa-ai/qwen3-30b-a3b-v2.1-unsloth-5e5-1epoch,1,7.589445277361319,7.589445277361319,8.32,7.655172413793103,7.2,7.182608695652174,,,,,,,,,,,,,,,,7.589445277361319,8.32,7.655172413793103,7.2,7.182608695652174,,,,,,,,,,,,0.8341713419954868 shisa-ai/qwen3-30b-a3b-v2.1-unsloth-3e5-1epoch,1,7.580149925037481,7.580149925037481,8.22,7.931034482758621,7.1,7.069565217391304,,,,,,,,,,,,,,,,7.580149925037481,8.22,7.931034482758621,7.1,7.069565217391304,,,,,,,,,,,,0.821135885890195 chotto-14b-20251007-dpo-10p,1,,7.577300724637682,8.34,8.183333333333334,6.725,7.060869565217391,,,,,,,,,,,7.577300724637682,8.34,8.183333333333334,6.725,7.060869565217391,,,,,,,,,,,,,,,,,0.8584492769818667 basemodel-llama3-70b.8e6,4,7.650883528831205,7.575380987941144,7.5,8.091666666666667,8.022900763358779,6.6869565217391305,7.031666666666666,7.06,7.866666666666666,7.0,6.2,7.104746376811595,7.54,7.433333333333334,7.15,6.2956521739130435,,,,,,,,,,,7.84255530129672,7.36,8.633333333333333,8.342105263157896,7.034782608695652,8.15393115942029,8.04,8.433333333333334,8.925,7.217391304347826,0.07686933819370209,0.8786140517977409 Qwen/Qwen1.5-32B-Chat,4,7.705596083205727,7.573703373234887,7.303258145363409,7.799373040752351,8.233576642335766,6.958605664488018,7.177209686296093,6.88,7.481012658227848,7.695652173913044,6.6521739130434785,6.99873941847626,7.090909090909091,6.9,7.512820512820513,6.491228070175438,,,,,,,,,,,7.879243012422361,7.22,8.4125,8.771428571428572,7.113043478260869,8.192228260869566,8.02,8.4,8.775,7.573913043478261,0.10099771151121961,0.8632067514079832 rednote-hilab/dots.llm1.inst,1,,7.562989130434783,7.84,7.9,7.825,6.6869565217391305,,,,,,,,,,,7.562989130434783,7.84,7.9,7.825,6.6869565217391305,,,,,,,,,,,,,,,,,0.8156671590349124 spin-00-a55.baseline-shisa-v2-llama-3.1-8b.2epoch,3,7.539554127183203,7.562466787439614,7.246666666666667,7.538888888888889,8.020833333333334,7.443478260869565,6.840543478260869,6.7,7.05,6.76,6.852173913043479,,,,,,,,,,,,,,,,7.9155685618729095,7.28,8.033333333333333,8.435897435897436,7.913043478260869,7.83963768115942,7.76,7.533333333333333,8.5,7.565217391304348,,0.8750346833257561 shisa-ai/shisa-llama3-70b-v1,4,7.625787561790734,7.562312610662994,7.13,7.970588235294118,8.576923076923077,6.571739130434783,7.108521625758177,6.72,7.677966101694915,7.923076923076923,6.113043478260869,7.2049456521739135,7.16,7.45,7.975,6.234782608695652,,,,,,,,,,,7.789254416538867,7.1,8.372881355932204,8.91891891891892,6.765217391304348,8.043061594202898,7.54,8.383333333333333,9.075,7.173913043478261,0.05841014352271231,0.8690036057404883 google/gemma-4-E4B-it,1,7.558741709653648,7.558741709653648,8.0,7.576271186440678,7.85,6.808695652173913,,,,,,,,,,,,,,,,7.558741709653648,8.0,7.576271186440678,7.85,6.808695652173913,,,,,,,,,,,,0.8483870694680454 Qwen/Qwen3-8B-nothink,1,,7.557282608695652,7.94,7.8,7.35,7.139130434782609,,,,,,,,,,,7.557282608695652,7.94,7.8,7.35,7.139130434782609,,,,,,,,,,,,,,,,,0.8580232025145368 ablation-28-rafathenev2.tulu-shisa-v2-tulu3-8b,3,7.545275409094354,7.554641486891104,6.691275167785235,7.553072625698324,8.56842105263158,7.405797101449275,7.125307971014493,6.34,7.25,8.041666666666666,6.869565217391305,,,,,,,,,,,,,,,,7.738056722898285,6.64,7.932203389830509,8.675675675675675,7.7043478260869565,7.763095455573533,7.1020408163265305,7.483333333333333,8.823529411764707,7.643478260869565,,0.8643330249767068 elyza/ELYZA-Shortcut-1.0-Qwen-32B,1,7.548025362318841,7.548025362318841,8.52,7.316666666666666,7.225,7.130434782608695,,,,,,,,,,,,,,,,7.548025362318841,8.52,7.316666666666666,7.225,7.130434782608695,,,,,,,,,,,,0.8700015060370025 mistralai/Mistral-Nemo-Instruct-2407,4,7.63347413500013,7.541307353824378,7.225,7.807531380753138,8.41095890410959,6.721739130434782,7.131465997770346,6.9,7.466666666666667,7.846153846153846,6.3130434782608695,7.12042004421518,7.02,7.135593220338983,7.7,6.626086956521739,,,,,,,,,,,7.885688405797101,7.2,8.416666666666666,8.9,7.026086956521739,7.975434782608696,7.78,8.2,9.0,6.921739130434783,0.07205390799967883,0.8080064344439482 shisa-ai/152-unphi4-14b-dpo2.1-1.5e7,2,7.129107789855072,7.535063405797102,8.21,7.541666666666667,7.1625,7.226086956521739,,,,,,,,,,,8.34697463768116,8.46,8.583333333333334,8.675,7.6695652173913045,6.723152173913043,7.96,6.5,5.65,6.782608695652174,,,,,,,,,,,,0.8710749863811128 CohereForAI/c4ai-command-r-v01,4,7.630116583268764,7.529224612495143,6.46,7.6415094339622645,9.019736842105264,6.995652173913044,7.297019312553159,6.3,7.417721518987341,8.818181818181818,6.6521739130434785,7.11477504127683,6.08,6.936708860759493,8.625,6.817391304347826,,,,,,,,,,,7.667211538461538,6.34,7.975,9.153846153846153,7.2,8.027010869565217,7.12,8.225,9.45,7.3130434782608695,0.07243258416494504,0.8544188094721665 016-smoothieqwen3-8b-v2-dpo405b-nothink,1,,7.52322463768116,7.74,7.883333333333334,7.6,6.869565217391305,,,,,,,,,,,7.52322463768116,7.74,7.883333333333334,7.6,6.869565217391305,,,,,,,,,,,,,,,,,0.8748961212605554 fireworks_ai/accounts/fireworks/models/llama-v3p1-405b-instruct,4,7.638768498408706,7.518679990936475,7.39,7.695278969957082,8.228571428571428,6.760869565217392,7.159488727858292,6.92,7.383333333333334,7.925925925925926,6.408695652173913,7.019424733388023,7.36,6.962264150943396,7.225,6.530434782608696,,,,,,,,,,,7.762234299516908,7.24,8.25,8.61111111111111,6.947826086956522,8.114670975323149,8.04,8.1,9.162162162162161,7.156521739130435,0.0882328379524839,0.8519989506024235 deepseek-ai/DeepSeek-V2.5-1210,4,7.710115638836344,7.5134426078963665,8.276923076923078,7.254166666666666,7.081632653061225,7.441048034934497,7.269034914361002,7.66,7.216666666666667,7.121212121212121,7.078260869565217,6.747331871345029,7.955555555555556,6.3,5.725,7.008771929824562,,,,,,,,,,,8.122656678417549,8.24,8.116666666666667,8.35135135135135,7.782608695652174,7.93532835467046,9.22,7.383333333333334,7.243243243243243,7.894736842105263,0.14269103489338095,0.8620785780315274 022-llama3.1-8b-v2new-sft,1,,7.513333333333334,7.62,7.533333333333333,7.9,7.0,,,,,,,,,,,7.513333333333334,7.62,7.533333333333333,7.9,7.0,,,,,,,,,,,,,,,,,0.8638781589475472 shisa-ai/chotto-14b-20251013-sft,1,,7.511231884057971,8.0,7.666666666666667,7.5,6.878260869565217,,,,,,,,,,,7.511231884057971,8.0,7.666666666666667,7.5,6.878260869565217,,,,,,,,,,,,,,,,,0.8434370298996309 shisa-ai/193-qwen3-30b-a3b-v2.1-dpo-1.2e7,1,7.50856884057971,7.50856884057971,8.16,7.766666666666667,6.925,7.182608695652174,,,,,,,,,,,,,,,,7.50856884057971,8.16,7.766666666666667,6.925,7.182608695652174,,,,,,,,,,,,0.8256042439307845 llm-jp/llm-jp-3.1-13b-instruct4,1,,7.504003623188406,7.32,7.116666666666666,8.875,6.7043478260869565,,,,,,,,,,,7.504003623188406,7.32,7.116666666666666,8.875,6.7043478260869565,,,,,,,,,,,,,,,,,0.8957230493872578 shisa-ai/shisa-v1-smaug-llama3-70b,4,7.55141477368291,7.487031777972411,7.208020050125313,8.108786610878662,8.207407407407407,6.423913043478261,6.977305739785474,6.78,7.898305084745763,7.222222222222222,6.008695652173913,7.102192028985507,7.22,7.533333333333333,7.725,5.930434782608696,,,,,,,,,,,7.718152173913044,7.14,8.45,8.5,6.782608695652174,8.023169403060708,7.696969696969697,8.55,8.871794871794872,6.973913043478261,0.06325128113461768,0.868807438284155 FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview,4,7.679039171224895,7.476894877797329,7.43,7.962025316455696,7.563380281690141,6.952173913043478,7.256950274862569,6.88,7.883333333333334,7.586206896551724,6.678260869565217,6.692734257871064,7.22,7.017241379310345,6.325,6.208695652173913,,,,,,,,,,,7.992965139052096,7.52,8.466666666666667,8.324324324324325,7.660869565217391,7.989346393187587,8.1,8.457627118644067,8.13888888888889,7.260869565217392,0.14736950181368347,0.7511615978500283 spin-00-a55.baseline-shisa-v2-llama-3.1-8b,3,7.453878488007147,7.476490146216369,7.36,7.76536312849162,7.653061224489796,7.127536231884058,6.605008361204014,6.66,7.05,6.423076923076923,6.28695652173913,,,,,,,,,,,,,,,,7.964676676492262,7.42,8.474576271186441,8.225,7.739130434782608,7.769338768115942,8.0,7.783333333333333,7.9375,7.356521739130435,,0.8733411544737828 shisa-ai/llama3.3-70b-merge-nuslerp-168-176-base,1,7.465235507246376,7.465235507246376,8.12,7.533333333333333,7.425,6.782608695652174,,,,,,,,,,,,,,,,7.465235507246376,8.12,7.533333333333333,7.425,6.782608695652174,,,,,,,,,,,,0.8415659007488315 shisa-ai/187-llama3.3-70b-v2.1o-dpo-2.4e8,1,7.441413043478261,7.441413043478261,8.32,7.3,7.25,6.895652173913043,,,,,,,,,,,,,,,,7.441413043478261,8.32,7.3,7.25,6.895652173913043,,,,,,,,,,,,0.8580629970570424 lightblue/ao-karasu-72B,4,7.583264740713121,7.441124702773023,7.351758793969849,7.484177215189874,8.07638888888889,6.852173913043479,7.005232194029568,6.8,7.1645569620253164,7.517241379310345,6.539130434782609,6.853077486477321,7.191919191919192,6.544303797468355,7.25,6.426086956521739,,,,,,,,,,,7.803006413875978,7.212121212121212,8.076923076923077,8.714285714285714,7.208695652173913,8.083695652173914,8.2,8.15,8.75,7.234782608695652,0.10654881046896446,0.8757160833341693 sbintuitions/sarashina2.2-3b-instruct-v0.1.run2,1,,7.438460144927537,7.46,6.816666666666666,8.625,6.852173913043479,,,,,,,,,,,7.438460144927537,7.46,6.816666666666666,8.625,6.852173913043479,,,,,,,,,,,,,,,,,0.8309746026021284 053-llama3.1-8b-base-v2new-dpo405b,1,,7.435615942028985,7.12,7.533333333333333,8.35,6.739130434782608,,,,,,,,,,,7.435615942028985,7.12,7.533333333333333,8.35,6.739130434782608,,,,,,,,,,,,,,,,,0.854541575639399 shisa-ai/qwen3-30b-a3b-v2.1-unsloth-1e4-1epoch,1,7.417820464767616,7.417820464767616,7.66,7.827586206896552,6.975,7.208695652173913,,,,,,,,,,,,,,,,7.417820464767616,7.66,7.827586206896552,6.975,7.208695652173913,,,,,,,,,,,,0.828176787322062 allenai/Llama-3.1-Tulu-3.1-8B,3,7.394342448010927,7.412781361150927,6.842809364548495,7.694444444444445,8.60952380952381,6.504347826086956,6.79287784679089,6.38,7.316666666666666,7.535714285714286,5.939130434782609,,,,,,,,,,,,,,,,7.546783047870004,6.626262626262626,7.9,9.0,6.660869565217391,7.824927536231884,7.52,7.866666666666666,9.0,6.913043478260869,,0.8646170801008302 ablation-08-rallama33-shisa-v2-llama-3.1-8b-lr8e6,3,7.391101088959461,7.404500509683997,7.093333333333334,7.988888888888889,7.935779816513762,6.6,6.853478260869566,6.64,7.566666666666666,7.033333333333333,6.173913043478261,,,,,,,,,,,,,,,,7.559088628762542,6.78,8.35,8.384615384615385,6.721739130434782,7.747336956521739,7.86,8.05,8.175,6.904347826086957,,0.8676880842936909 shisa-ai/114-qwen3-30b-a3b-v2.1-sft-megablocks,1,7.402655547226387,7.402655547226387,8.18,7.603448275862069,6.975,6.852173913043479,,,,,,,,,,,,,,,,7.402655547226387,8.18,7.603448275862069,6.975,6.852173913043479,,,,,,,,,,,,0.8486535513221737 shisa-ai/176-llama3.3-70b-v2.1-dpo-6e8,1,7.4019746376811595,7.4019746376811595,8.08,7.183333333333334,7.475,6.869565217391305,,,,,,,,,,,,,,,,7.4019746376811595,8.08,7.183333333333334,7.475,6.869565217391305,,,,,,,,,,,,0.8485440455429403 Qwen/Qwen2-7B-Instruct,4,7.530624552144671,7.3929844786015675,7.155,7.831223628691983,7.785714285714286,6.8,6.971920289855072,6.8,7.583333333333333,6.913043478260869,6.591304347826087,6.755391876430206,6.8,7.105263157894737,6.725,6.391304347826087,,,,,,,,,,,7.78536231884058,7.14,8.3,8.666666666666666,7.034782608695652,7.972231121281465,7.88,8.3,8.526315789473685,7.182608695652174,0.11475761730704004,0.8799541851120104 karakuri-ai/karakuri-lm-70b-chat-v0.1,4,7.512686436999726,7.390303484093867,7.125,7.272445820433436,8.533333333333333,6.630434782608695,7.056734715079736,6.8,7.037037037037037,8.129032258064516,6.260869565217392,6.881176865271068,6.86,6.432098765432099,7.85,6.3826086956521735,,,,,,,,,,,7.576734253065775,6.88,7.7625,8.794871794871796,6.869565217391305,8.026973295759527,7.96,7.864197530864198,9.275,7.008695652173913,0.09177348353242491,0.8768526030454863 ablation-16-rafbestmix-shisa-v2-llama-3.1-8b-lr8e6,3,7.371618710168124,7.386359170601965,6.96,7.47191011235955,8.38888888888889,6.72463768115942,6.890698757763976,6.66,7.0,7.607142857142857,6.2956521739130435,,,,,,,,,,,,,,,,7.447065217391304,6.66,7.55,8.7,6.878260869565217,7.762351694915254,7.56,7.864406779661017,8.625,7.0,,0.8733716097392665 175-llama3.3-70b-v2.1-dpo,1,7.3786775362318835,7.3786775362318835,8.26,7.066666666666666,7.275,6.913043478260869,,,,,,,,,,,,,,,,7.3786775362318835,8.26,7.066666666666666,7.275,6.913043478260869,,,,,,,,,,,,0.8529178032304903 shisa-ai/192-llama3.3-70b-v2.1o-dpo-1e8,1,7.356594202898551,7.356594202898551,8.08,7.283333333333333,7.15,6.913043478260869,,,,,,,,,,,,,,,,7.356594202898551,8.08,7.283333333333333,7.15,6.913043478260869,,,,,,,,,,,,0.8475772071305022 shisa-ai/170-qwen3-8b-v2.1-dpo-1.2e7,2,6.957699275362319,7.35268115942029,7.66,7.783333333333333,7.15,6.817391304347826,,,,,,,,,,,8.142644927536232,7.98,8.716666666666667,8.5,7.373913043478261,6.562717391304347,7.34,6.85,5.8,6.260869565217392,,,,,,,,,,,,0.8780502284261281 ablation-09-rafllama33-shisa-v2-llama-3.1-8b-lr8e6,3,7.333573254751745,7.352435249583424,6.926666666666667,7.75,8.485981308411215,6.247093023255814,6.722939958592132,6.44,7.266666666666667,7.428571428571429,5.756521739130434,,,,,,,,,,,,,,,,7.454619565217391,6.6,8.05,8.725,6.443478260869565,7.804298245614035,7.74,7.933333333333334,9.0,6.543859649122807,,0.8591003238895251 DataPilot/ArrowPro-7B-RobinHood,4,7.493063971884096,7.3465601623343915,6.89,7.148305084745763,8.884892086330936,6.46304347826087,7.091496253991648,6.6,7.067796610169491,8.541666666666666,6.156521739130435,6.710015255530129,6.62,6.017543859649122,8.289473684210526,5.913043478260869,,,,,,,,,,,7.692949471210341,6.9,7.9,9.18918918918919,6.782608695652174,7.8412500000000005,7.44,7.55,9.375,7.0,0.1166985001574489,0.883873389821438 meta-llama/Meta-Llama-3.1-8B-Instruct,3,7.316385476681665,7.344385355449047,7.114093959731544,7.5195530726256985,8.277227722772277,6.466666666666667,6.607797224269221,6.52,6.932203389830509,7.083333333333333,5.895652173913043,,,,,,,,,,,,,,,,7.620602006688964,6.96,8.066666666666666,8.794871794871796,6.660869565217391,7.692757320319432,7.877551020408164,7.55,8.5,6.843478260869565,,0.8816906673343751 shisa-ai/shisa-v2-qwen2.5-7b,1,,7.343985507246376,7.56,7.883333333333334,7.35,6.582608695652174,,,,,,,,,,,7.343985507246376,7.56,7.883333333333334,7.35,6.582608695652174,,,,,,,,,,,,,,,,,0.8870252988862711 Qwen/Qwen3.6-27B-nothink,1,7.343242753623189,7.343242753623189,7.94,6.916666666666667,7.525,6.991304347826087,,,,,,,,,,,,,,,,7.343242753623189,7.94,6.916666666666667,7.525,6.991304347826087,,,,,,,,,,,,0.7787522193052879 shisa-ai/qwen3-8b-merge-nuslerp-170-162-161,2,6.92504981884058,7.341096014492753,7.72,7.941666666666666,6.9375,6.765217391304348,,,,,,,,,,,8.173188405797102,8.1,9.016666666666667,8.35,7.226086956521739,6.5090036231884065,7.34,6.866666666666666,5.525,6.304347826086956,,,,,,,,,,,,0.8710535812844519 011-qwen3-8b-v2-sft-nothink,1,,7.329728260869565,7.82,7.6,7.525,6.373913043478261,,,,,,,,,,,7.329728260869565,7.82,7.6,7.525,6.373913043478261,,,,,,,,,,,,,,,,,0.8851789688338507 llm-jp/llm-jp-3-172b-beta2-instruct2,4,7.453721244527298,7.326688211108081,6.83,7.273109243697479,8.549295774647888,6.654347826086957,6.978695652173913,6.28,7.15,8.25,6.234782608695652,6.785612818590705,6.62,6.293103448275862,7.925,6.304347826086956,,,,,,,,,,,7.50100613154961,6.48,7.85,8.743589743589743,6.930434782608696,8.008494983277592,7.94,7.766666666666667,9.179487179487179,7.147826086956521,0.09845955609287937,0.8728735346286481 018-llama3.1-8b-v2-dpo405b,1,,7.323134057971014,7.44,7.366666666666666,7.825,6.660869565217391,,,,,,,,,,,7.323134057971014,7.44,7.366666666666666,7.825,6.660869565217391,,,,,,,,,,,,,,,,,0.8840138118116009 ubitus/alice-v3-1-405b-instruct-rc1,3,7.301570298045769,7.312344417880172,7.086666666666667,7.716666666666667,8.149532710280374,6.296511627906977,6.900784600389864,6.72,7.35,7.62962962962963,5.9035087719298245,,,,,,,,,,,,,,,,7.3725,6.84,8.15,8.3,6.2,7.620652173913044,7.7,7.65,8.35,6.782608695652174,,0.8651658081923861 shisa-ai/162-qwen3-8b-v2.1-dpo,2,6.900303442028985,7.300860507246377,7.55,7.908333333333333,6.9625,6.782608695652174,,,,,,,,,,,8.10197463768116,7.98,8.883333333333333,8.275,7.269565217391304,6.499746376811594,7.12,6.933333333333334,5.65,6.2956521739130435,,,,,,,,,,,,0.874253159977271 together_ai/mistralai/Mixtral-8x22B-Instruct-v0.1,4,7.418590234959433,7.289534723931413,7.62,7.506276150627615,7.208333333333333,6.823529411764706,7.035975148019212,7.24,7.338983050847458,7.0344827586206895,6.530434782608696,6.74645685158843,7.64,6.65,6.108108108108108,6.587719298245614,,,,,,,,,,,7.546441647597255,7.44,8.0,7.7631578947368425,6.982608695652174,7.802409420289855,8.16,8.033333333333333,7.825,7.191304347826087,0.09962761167185877,0.8645910796996185 012-smoothieqwen3-8b-v2-sft-nothink,1,,7.289021739130435,7.48,7.4,7.65,6.626086956521739,,,,,,,,,,,7.289021739130435,7.48,7.4,7.65,6.626086956521739,,,,,,,,,,,,,,,,,0.8792200022593705 tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5,2,6.946050724637681,7.282663043478261,7.56,7.15,7.725,6.695652173913044,,,,,,,,,,,7.955887681159421,7.8,7.933333333333334,8.925,7.165217391304348,6.609438405797102,7.32,6.366666666666666,6.525,6.226086956521739,,,,,,,,,,,,0.8908819112217533 Qwen/Qwen1.5-14B-Chat,4,7.460543599531144,7.280541748634866,7.015,7.504702194357367,7.826865671641791,6.775599128540305,6.94107010181618,6.68,7.177215189873418,7.4375,6.469565217391304,6.5130163043478255,6.7,6.5375,6.545,6.269565217391304,,,,,,,,,,,7.7569221967963395,7.0,8.3,8.68421052631579,7.043478260869565,7.863640350877192,7.68,8.0,8.45,7.324561403508772,0.14548210090473562,0.8659078972028068 tokyotech-llm/Swallow-70b-instruct-v0.1,4,7.425266580803857,7.258105517198345,7.335,7.389830508474576,7.708029197080292,6.599562363238512,7.031921647338686,6.92,7.3559322033898304,7.65,6.201754385964913,6.582456133658834,7.28,6.448275862068965,6.575,6.0265486725663715,,,,,,,,,,,7.525952759570259,7.22,7.813559322033898,8.078947368421053,6.991304347826087,7.885086399108139,7.92,7.916666666666667,8.538461538461538,7.165217391304348,0.12803890068258614,0.8039520044315439 karakuri-ai/karakuri-lm-8x7b-instruct-v0.1,3,7.248174554640153,7.258074839460691,7.213333333333333,7.288888888888889,7.910891089108911,6.619186046511628,6.875289855072464,6.82,6.933333333333334,7.565217391304348,6.182608695652174,,,,,,,,,,,,,,,,7.467228260869565,6.92,7.8,8.375,6.773913043478261,7.392105263157895,7.9,7.133333333333334,7.631578947368421,6.9035087719298245,,0.8555641655412694 shisa-v1-cyberagent-mistral-nemo-japanese-12b,4,7.383768840149006,7.248964194373401,6.93,7.794117647058823,8.0,6.271739130434782,6.867004421518055,6.54,7.559322033898305,7.56,5.808695652173913,6.668907516580692,6.84,7.0508474576271185,6.95,5.834782608695652,,,,,,,,,,,7.599523411371238,6.72,8.516666666666667,8.717948717948717,6.443478260869565,7.819583333333333,7.62,8.033333333333333,8.625,7.0,0.10719316796506435,0.8505870146877695 shisa-ai/chotto-14b-202060107-dpo,1,7.226780582166544,7.226780582166544,8.22,7.11864406779661,6.725,6.843478260869565,,,,,,,,,,,,,,,,7.226780582166544,8.22,7.11864406779661,6.725,6.843478260869565,,,,,,,,,,,,0.8498970664615229 THUDM/glm-4-9b-chat,4,7.442505280080382,7.225310272304239,6.748717948717949,7.2105263157894735,8.120967741935484,6.821029082774049,6.6415579710144925,5.38,6.716666666666667,8.0,6.469565217391304,6.2821137642496865,7.155555555555556,5.52,6.918918918918919,5.533980582524272,,,,,,,,,,,7.876739130434783,6.72,8.15,8.95,7.6869565217391305,8.026413746568013,7.78,8.206896551724139,8.653846153846153,7.464912280701754,0.18471354696475928,0.8279573486857219 SakanaAI/TinySwallow-1.5B-Instruct,3,7.21248304106502,7.219220810525705,6.226666666666667,7.58659217877095,8.726415094339623,6.337209302325581,6.717355072463767,5.76,7.116666666666666,8.166666666666666,5.826086956521739,,,,,,,,,,,,,,,,7.37125101811271,5.92,8.016949152542374,9.026315789473685,6.521739130434782,7.542105263157895,7.0,7.633333333333334,8.868421052631579,6.666666666666667,,0.8748257949768148 shisa-ai/191-qwen3-30b-a3b-v2.1o-dpo-1.2e7,1,7.198242753623188,7.198242753623188,7.86,7.316666666666666,6.825,6.791304347826087,,,,,,,,,,,,,,,,7.198242753623188,7.86,7.316666666666666,6.825,6.791304347826087,,,,,,,,,,,,0.830063166247954 allenai/Llama-3.1-Tulu-3-8B,4,7.348535040716474,7.182245989786347,6.696741854636591,7.410041841004184,8.143939393939394,6.478260869565218,6.763818795330257,6.32,7.288135593220339,7.421052631578948,6.026086956521739,6.460471014492754,6.56,6.366666666666666,6.95,5.965217391304348,,,,,,,,,,,7.533792270531401,6.34,8.033333333333333,8.944444444444445,6.817391304347826,7.914283107217891,7.575757575757576,7.95,9.027027027027026,7.104347826086957,0.13746118885628136,0.8669676222671313 shisa-ai/shisa-v1-llama3-8b,3,7.101970950652684,7.168693493104471,6.4,7.5027932960893855,8.311111111111112,6.460869565217391,6.38228813559322,5.88,6.9491525423728815,6.9,5.8,,,,,,,,,,,,,,,,7.284728260869565,6.04,7.9,8.425,6.773913043478261,7.572173913043478,7.28,7.65,8.55,6.808695652173913,,0.8717175925570068 ablation-05-bs2ga4-shisa-v2-llama3.1-8b-lr8e6,3,7.133958349026284,7.165464975845411,6.906666666666666,7.4222222222222225,8.208333333333334,6.12463768115942,6.518260869565218,6.46,6.95,7.15,5.51304347826087,,,,,,,,,,,,,,,,7.292238542890717,6.58,7.8,8.432432432432432,6.356521739130435,7.5598690078037905,7.68,7.516666666666667,8.538461538461538,6.504347826086956,,0.8801715209031397 shisa_qwen2.5_7b_cross_lingual_remover_grpo,1,,7.162934782608696,7.68,7.3,7.15,6.521739130434782,,,,,,,,,,,7.162934782608696,7.68,7.3,7.15,6.521739130434782,,,,,,,,,,,,,,,,,0.8931025851581432 shisa-v1-sarashina2-70b,4,7.341283352054772,7.161254812573581,6.69,7.267241379310345,8.16030534351145,6.527472527472527,6.773372460258973,5.84,6.830508474576271,8.214285714285714,6.208695652173913,6.435873015873016,6.58,6.277777777777778,6.975,5.910714285714286,,,,,,,,,,,7.649492753623188,6.74,8.366666666666667,8.7,6.791304347826087,7.781013381763344,7.6,7.491525423728813,8.837837837837839,7.1946902654867255,0.140681821090738,0.6570340691141244 009-llama3.1-8b-mbs8,1,,7.150525362318841,7.38,6.966666666666667,7.925,6.3304347826086955,,,,,,,,,,,7.150525362318841,7.38,6.966666666666667,7.925,6.3304347826086955,,,,,,,,,,,,,,,,,0.8796543672962595 052-llama3.1-8b-base-v2new-sft,1,,7.146467391304348,6.9,7.5,7.525,6.660869565217391,,,,,,,,,,,7.146467391304348,6.9,7.5,7.525,6.660869565217391,,,,,,,,,,,,,,,,,0.8751757938436902 166-qwen3-30b-a3b-v2.1-dpo-1.2e7-fp8-block,1,7.144510869565217,7.144510869565217,7.74,7.3,6.625,6.913043478260869,,,,,,,,,,,,,,,,7.144510869565217,7.74,7.3,6.625,6.913043478260869,,,,,,,,,,,,0.8381667498426874 CohereForAI/aya-23-35b,4,7.305590080699614,7.141157042859476,6.635,7.682008368200837,7.671532846715328,6.576086956521739,6.738422959572845,6.24,7.416666666666667,7.157894736842105,6.139130434782609,6.423451547531319,6.36,6.745762711864407,6.275,6.3130434782608695,,,,,,,,,,,7.628939740655989,6.56,8.533333333333333,8.578947368421053,6.843478260869565,7.713840579710145,7.38,8.016666666666667,8.45,7.008695652173913,0.13733092351374876,0.8456998281703315 ablation-04-bs4ga2-shisa-v2-llama3.1-8b-lr8e6,3,7.088841756262778,7.1374433808142985,6.78,7.581005586592179,8.095744680851064,6.093023255813954,6.337646198830409,6.2,7.083333333333333,6.611111111111111,5.456140350877193,,,,,,,,,,,,,,,,7.354419028461033,6.5,8.101694915254237,8.45945945945946,6.356521739130435,7.525858416945373,7.64,7.566666666666666,8.435897435897436,6.460869565217391,,0.8781095584928822 stockmark/Stockmark-2-100B-Instruct,2,6.793229166666666,7.133759057971014,7.87,6.841666666666667,7.2625,6.560869565217391,,,,,,,,,,,7.8148188405797105,8.26,7.716666666666667,8.3,6.982608695652174,6.452699275362319,7.48,5.966666666666667,6.225,6.139130434782609,,,,,,,,,,,,0.9099344412307772 014-smoothieqwen3-8b-v2-dpo,1,,7.107101449275363,7.74,7.216666666666667,7.15,6.321739130434783,,,,,,,,,,,7.107101449275363,7.74,7.216666666666667,7.15,6.321739130434783,,,,,,,,,,,,,,,,,0.8898459009021547 microsoft/Phi-3-medium-128k-instruct,4,7.223993614752057,7.07924243626362,7.23,6.841666666666667,7.751824817518248,6.493478260869566,6.745431488801054,6.62,6.716666666666667,7.636363636363637,6.008695652173913,6.484258199847444,7.1,5.916666666666667,6.842105263157895,6.078260869565217,,,,,,,,,,,7.477351258581236,7.18,7.65,8.131578947368421,6.947826086956522,7.593949275362319,8.02,7.083333333333333,8.333333333333334,6.939130434782609,0.11408173334646317,0.8648449678568316 shisa_qwen2.5_7b_cross_lingual_remover_grpo_translations,1,,7.065380434782609,7.28,7.2,7.425,6.356521739130435,,,,,,,,,,,7.065380434782609,7.28,7.2,7.425,6.356521739130435,,,,,,,,,,,,,,,,,0.8768187836605159 shisa-ai/163-qwen3-30b-a3b-v2.1-sft-megablocks,1,7.047663043478261,7.047663043478261,7.52,7.15,6.625,6.895652173913043,,,,,,,,,,,,,,,,7.047663043478261,7.52,7.15,6.625,6.895652173913043,,,,,,,,,,,,0.8357028980204505 shisa-ai/shisa-v1-llama3-8b.lr-8e6,4,7.126108319560384,7.047109363417619,6.421052631578948,7.554621848739496,7.975806451612903,6.23695652173913,6.577302371541502,6.06,7.25,7.181818181818182,5.817391304347826,6.573102463919556,6.565656565656566,7.0344827586206895,6.944444444444445,5.747826086956522,,,,,,,,,,,7.407956325891108,6.1,8.016666666666667,8.81081081081081,6.7043478260869565,7.472065217391305,6.96,7.9,8.35,6.678260869565217,0.08413163474574373,0.8708425017687335 shisa-ai/chotto-14b-202060107-sft,1,7.041428571428572,7.041428571428572,7.98,6.910714285714286,6.675,6.6,,,,,,,,,,,,,,,,7.041428571428572,7.98,6.910714285714286,6.675,6.6,,,,,,,,,,,,0.8583521617703653 ablation-02-llama31-shisa-v2-llama3.1-8b-lr8e6,3,6.982501282962594,7.015157816143327,6.426666666666667,7.455056179775281,8.170212765957446,6.008695652173913,6.4452310459924576,6.06,7.0508474576271185,7.235294117647059,5.434782608695652,,,,,,,,,,,,,,,,7.118317496024513,6.04,7.8474576271186445,8.368421052631579,6.217391304347826,7.351298773690078,7.18,7.466666666666667,8.384615384615385,6.373913043478261,,0.876325872597698 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage6-to50-more-3e6-beta005,1,6.989565217391305,6.989565217391305,7.78,7.0,6.1,7.078260869565217,,,,,,,,,,,,,,,,6.989565217391305,7.78,7.0,6.1,7.078260869565217,,,,,,,,,,,,0.8541743303808494 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage4-to25,1,6.9879452707856595,6.9879452707856595,8.06,6.9298245614035086,6.075,6.886956521739131,,,,,,,,,,,,,,,,6.9879452707856595,8.06,6.9298245614035086,6.075,6.886956521739131,,,,,,,,,,,,0.8536098968393017 elyza/ELYZA-Thinking-1.0-Qwen-32B,1,6.96195652173913,6.96195652173913,8.0,6.95,6.35,6.547826086956522,,,,,,,,,,,,,,,,6.96195652173913,8.0,6.95,6.35,6.547826086956522,,,,,,,,,,,,0.8399392510301054 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage3-to50,1,6.960384182908546,6.960384182908546,7.94,6.948275862068965,6.475,6.478260869565218,,,,,,,,,,,,,,,,6.960384182908546,7.94,6.948275862068965,6.475,6.478260869565218,,,,,,,,,,,,0.8519474329693683 shisa-ai/shisa-v2.1-unphi4-14b-W4A16-GPTQ-gs32-spin-r1r2,1,6.951559877955758,6.951559877955758,8.28,7.017543859649122,5.7,6.808695652173913,,,,,,,,,,,,,,,,6.951559877955758,8.28,7.017543859649122,5.7,6.808695652173913,,,,,,,,,,,,0.8492247608330789 shisa-ai/shisa-v1-llama3-8b.lr-2e6,4,7.072202801499882,6.950347577236989,6.18,7.542016806722689,7.968503937007874,6.110869565217391,6.448469202898551,5.56,7.333333333333333,7.1875,5.71304347826087,6.347694801248024,6.26,6.879310344827586,6.72972972972973,5.521739130434782,,,,,,,,,,,7.376195652173913,5.92,8.15,8.8,6.6347826086956525,7.513798773690078,6.98,7.783333333333333,8.717948717948717,6.573913043478261,0.11413718254214306,0.87065029657725 shisa-ai/shisa-llama3-8b-v1.fp0.5,4,7.089364489986696,6.947257733212606,6.616541353383458,7.472573839662447,8.054263565891473,5.645652173913043,6.554326771239078,6.2,7.0508474576271185,7.714285714285714,5.252173913043478,6.311512776593838,6.62,6.406779661016949,7.054054054054054,5.165217391304348,,,,,,,,,,,7.40610402203002,6.44,8.474576271186441,8.631578947368421,6.078260869565217,7.449769433465086,7.212121212121212,7.95,8.55,6.086956521739131,0.12324330805088624,0.8656658436249087 ablation-00-baseline-shisa-v2-llama3-8b-lr8e6,3,6.909074533861848,6.936337914956592,6.093333333333334,7.150837988826815,8.164948453608247,6.336231884057971,6.3657349896480335,5.8,6.733333333333333,7.190476190476191,5.739130434782608,,,,,,,,,,,,,,,,6.954208508434743,5.58,7.389830508474576,8.35135135135135,6.495652173913044,7.380016722408026,6.9,7.333333333333333,8.512820512820513,6.773913043478261,,0.8778468621214662 shisa-ai/shisa-v1-llama3-8b.cosine,4,7.029810484601366,6.935670735187979,6.516290726817043,7.661087866108787,7.424,6.141304347826087,6.329069497194037,6.06,7.406779661016949,6.153846153846154,5.695652173913044,6.347280650215433,6.66,6.916666666666667,6.108108108108108,5.7043478260869565,,,,,,,,,,,7.395976064997804,6.424242424242424,8.233333333333333,8.36111111111111,6.565217391304348,7.458525641025641,6.92,8.083333333333334,8.23076923076923,6.6,0.10753106282810526,0.8747840357385438 shisa-ai/shisa-v1-llama3-8b.lr-5e6,4,7.028249594433868,6.9330984467485886,6.295739348370927,7.631799163179917,8.079365079365079,5.7254901960784315,6.41907867494824,5.82,7.433333333333334,7.214285714285714,5.208695652173913,6.403746992674289,6.181818181818182,6.779661016949152,7.416666666666667,5.2368421052631575,,,,,,,,,,,7.2898429951690815,6.12,8.15,8.61111111111111,6.278260869565218,7.470978260869566,7.06,8.15,8.5,6.173913043478261,0.09752143588339647,0.8744213051066377 ablation-50-mathcode-shisa-v2-llama-3.1-8b-lr8e6,3,6.883225094488214,6.929473166296095,6.214046822742475,7.4748603351955305,8.0,6.028985507246377,6.058918833561427,5.72,6.661016949152542,6.428571428571429,5.426086956521739,,,,,,,,,,,,,,,,7.207150518563562,6.101010101010101,7.85,8.538461538461538,6.339130434782609,7.337357859531773,6.82,7.9,8.307692307692308,6.321739130434783,,0.6161052217714672 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage6-to50-more-2e6,1,6.924759316770187,6.924759316770187,8.02,6.821428571428571,6.075,6.782608695652174,,,,,,,,,,,,,,,,6.924759316770187,8.02,6.821428571428571,6.075,6.782608695652174,,,,,,,,,,,,0.8610555008469054 shisa-ai/shisa-swallowmx-13a47b-v1,4,7.0893362935308195,6.917977721895656,6.656641604010025,7.175732217573222,8.143884892086332,5.695652173913044,6.51761974944731,6.12,6.898305084745763,8.0,5.052173913043478,6.208634630053394,6.48,6.066666666666666,7.105263157894737,5.182608695652174,,,,,,,,,,,7.263713768115942,6.44,7.883333333333334,8.575,6.156521739130435,7.6580339346643695,7.595959595959596,7.85,8.794871794871796,6.391304347826087,0.14185110188548028,0.877483612027292 shisa-ai/shisa-v1-llama3-8b.wd-0.05,4,7.062130722545097,6.910277219583486,6.295,7.659663865546219,7.514705882352941,6.171739130434783,6.526941322770818,5.8,7.389830508474576,7.1875,5.730434782608696,6.24920320560059,6.4,6.830508474576271,6.175,5.591304347826087,,,,,,,,,,,7.3488043478260865,6.08,8.35,8.4,6.565217391304348,7.4625,6.9,8.05,8.1,6.8,0.13008498686935868,0.8715361161786417 shisa-ai/shisa-v1-llama3-8b.sharegpt_mix,4,7.018460892018011,6.90818323595261,6.36,7.673640167364017,7.7795275590551185,5.819565217391304,6.351829544810386,5.9,7.322033898305085,6.846153846153846,5.339130434782609,6.2986320015667845,6.36,7.016666666666667,6.513513513513513,5.304347826086956,,,,,,,,,,,7.27238151194673,6.22,8.233333333333333,8.54054054054054,6.095652173913043,7.54144927536232,6.96,8.116666666666667,8.55,6.539130434782609,0.11428336982890393,0.8742609691284646 shisa-ai/shisa-v1-llama3-8b.lr-2e5,4,7.023065736083934,6.906826256485367,6.0852130325814535,7.585774058577406,7.8671875,6.089130434782609,6.4344927536231875,5.58,7.366666666666666,7.2,5.591304347826087,6.357538877236741,6.24,6.8474576271186445,6.794871794871795,5.547826086956522,,,,,,,,,,,7.309774083546461,5.82,8.166666666666666,8.617647058823529,6.6347826086956525,7.44116985068072,6.707070707070707,7.95,8.525,6.582608695652174,0.10468309698114811,0.8740518867258654 ablation-02-llama31-shisa-v2-llama3.1-8b.lr-8e6,4,7.072741854145843,6.895315155991179,6.798994974874372,7.2625,7.624113475177305,5.895652173913043,6.452427536231884,6.28,7.016666666666667,7.043478260869565,5.469565217391304,6.132331466842336,6.505050505050505,6.316666666666666,6.325,5.3826086956521735,,,,,,,,,,,7.36070660841828,6.606060606060606,8.033333333333333,8.394736842105264,6.408695652173913,7.582518115942029,7.8,7.683333333333334,8.525,6.321739130434783,0.1533528303856907,0.8761976745102421 shisa-ai/chotto-14b-20251013-dpo,2,6.491879528985507,6.882672101449275,8.02,6.866666666666666,6.1875,6.456521739130435,,,,,,,,,,,7.6642572463768115,8.24,7.933333333333334,7.475,7.008695652173913,6.101086956521739,7.8,5.8,4.9,5.904347826086957,,,,,,,,,,,,0.8634093039662496 shisa-ai/shisa-v2.1-unphi4-14b-W8A8-INT8-smooth,1,6.873804347826087,6.873804347826087,8.08,6.85,5.8,6.765217391304348,,,,,,,,,,,,,,,,6.873804347826087,8.08,6.85,5.8,6.765217391304348,,,,,,,,,,,,0.8395420088171999 inclusionAI/Ling-1T-FP8,1,6.869728260869565,6.869728260869565,7.98,7.05,5.875,6.573913043478261,,,,,,,,,,,,,,,,6.869728260869565,7.98,7.05,5.875,6.573913043478261,,,,,,,,,,,,0.809709339054164 shisa-ai/shisa-v2.1-unphi4-14b-FP8-dynamic,1,6.865163043478262,6.865163043478262,7.94,6.75,6.275,6.495652173913044,,,,,,,,,,,,,,,,6.865163043478262,7.94,6.75,6.275,6.495652173913044,,,,,,,,,,,,0.8482350313043967 shisa-v2.1-unphi4-14b-W4A16-GPTQ-gs32-spin-r1r2,1,6.860016209000763,6.860016209000763,7.8,6.982456140350878,5.675,6.982608695652174,,,,,,,,,,,,,,,,6.860016209000763,7.8,6.982456140350878,5.675,6.982608695652174,,,,,,,,,,,,0.8464626378119372 043-llama3.2-3b-v2new-dpo405b,1,,6.858568840579711,6.76,7.466666666666667,7.225,5.982608695652174,,,,,,,,,,,6.858568840579711,6.76,7.466666666666667,7.225,5.982608695652174,,,,,,,,,,,,,,,,,0.8778905605514936 shisa-v1-llama3.1-8b-unsloth-qlora,4,7.034082953691673,6.856708352377936,6.5814536340852134,6.8734177215189876,8.006896551724138,5.965065502183406,6.508221567182511,6.08,6.694915254237288,7.666666666666667,5.591304347826087,6.1158210499872085,6.3232323232323235,5.741379310344827,6.85,5.548672566371682,,,,,,,,,,,7.321819955406912,6.32,7.783333333333333,8.923076923076923,6.260869565217392,7.449581939799331,7.6,7.233333333333333,8.512820512820513,6.452173913043478,0.15014531919739296,0.8519105178255805 shisa-ai/shisa-v1-llama3-8b.sharegpt_filtered,4,7.013384148953844,6.844708143501296,6.461152882205514,6.784810126582278,7.672,6.460869565217391,6.423869498224693,6.0,6.491525423728813,7.090909090909091,6.113043478260869,6.075330796140391,6.44,5.896551724137931,6.0256410256410255,5.939130434782609,,,,,,,,,,,7.303936100131752,6.3232323232323235,7.366666666666666,8.63888888888889,6.886956521739131,7.481022853957636,7.08,7.35,8.58974358974359,6.904347826086957,0.15440366694261173,0.8758525511858808 meta-llama/Meta-Llama-3-70B-Instruct,4,6.891534321697051,6.837294762428912,8.175,8.253164556962025,3.818840579710145,7.102173913043479,6.55638459019078,7.7,7.372881355932203,4.222222222222222,6.930434782608696,6.673201915991157,8.22,8.542372881355933,3.4,6.530434782608696,,,,,,,,,,,6.5488890935888,8.26,8.220338983050848,2.35,7.3652173913043475,7.62356884057971,8.52,8.866666666666667,5.525,7.582608695652174,0.03271778802057505,0.3093124892294734 ablation-01-liger-shisa-v2-llama3-8b-lr8e6,3,6.789474519345801,6.837216648086214,6.167224080267559,7.011111111111111,8.144444444444444,6.026086956521739,6.22304347826087,5.94,6.633333333333334,6.866666666666666,5.452173913043478,,,,,,,,,,,,,,,,6.854053074813945,5.78,7.183333333333334,8.27027027027027,6.182608695652174,7.243584876222176,6.787878787878788,7.216666666666667,8.526315789473685,6.443478260869565,,0.870740044332097 shisa-ai/shisa-v1-llama3-8b.neftune,4,6.903447283094813,6.835784673070442,6.24,7.3875,7.728682170542636,5.98695652173913,6.189347826086957,5.64,7.0,6.5,5.6173913043478265,6.341985125858123,6.52,6.45,6.7631578947368425,5.6347826086956525,,,,,,,,,,,7.1756493868450395,6.04,8.016666666666667,8.35897435897436,6.28695652173913,7.413007246376811,6.76,8.083333333333334,8.4,6.408695652173913,0.08853097982640247,0.8720071551620817 shisa-v2.1-unphi4-14b-w4a16-gptq-gs32,1,6.826920914542729,6.826920914542729,7.7,6.741379310344827,6.075,6.791304347826087,,,,,,,,,,,,,,,,6.826920914542729,7.7,6.741379310344827,6.075,6.791304347826087,,,,,,,,,,,,0.838028122725825 shisa-ai/shisa-v2-unphi4-14b-denoted,1,6.818367658276125,6.818367658276125,7.92,6.649122807017544,6.2,6.504347826086956,,,,,,,,,,,,,,,,6.818367658276125,7.92,6.649122807017544,6.2,6.504347826086956,,,,,,,,,,,,0.8574513672517798 039-sarashina2.2-3b-instruct-v2new-dpo405b,1,,6.817971014492754,7.34,6.616666666666666,6.75,6.565217391304348,,,,,,,,,,,6.817971014492754,7.34,6.616666666666666,6.75,6.565217391304348,,,,,,,,,,,,,,,,,0.8176558807337062 ibm-granite/granite-4.0-h-small,1,,6.8172644927536235,7.86,7.066666666666666,5.525,6.817391304347826,,,,,,,,,,,6.8172644927536235,7.86,7.066666666666666,5.525,6.817391304347826,,,,,,,,,,,,,,,,,0.8693166977126453 041-sarashina2.2-3b-v2new-dpo405b,1,,6.801032608695652,7.24,6.3,6.925,6.739130434782608,,,,,,,,,,,6.801032608695652,7.24,6.3,6.925,6.739130434782608,,,,,,,,,,,,,,,,,0.839359405958318 weblab-GENIAC/Tanuki-8B-dpo-v1.0,4,7.0293389898145335,6.797082826593696,6.87,6.141666666666667,7.944055944055944,6.232608695652174,6.63518115942029,6.44,6.283333333333333,8.0,5.817391304347826,,,,,,5.877047101449275,6.56,4.816666666666666,6.775,5.356521739130435,,,,,,7.286847826086957,6.88,6.9,8.55,6.817391304347826,7.3982441471571905,7.6,6.566666666666666,8.487179487179487,6.939130434782609,,0.8794910932319894 shisa-v1-llama-3.1-base-70b,4,6.968791464257397,6.757037112960068,6.586466165413534,6.701298701298701,7.557377049180328,6.183006535947713,6.116718426501035,6.0,6.433333333333334,6.285714285714286,5.747826086956522,5.634064531959268,6.24,4.9818181818181815,6.384615384615385,4.9298245614035086,,,,,,,,,,,7.552826086956522,6.82,8.0,8.4,6.991304347826087,7.448584230611967,7.292929292929293,7.310344827586207,8.13888888888889,7.052173913043478,0.23690302528962562,0.5076853271714771 cognitivecomputations/dolphin-2.9.2-qwen2-7b,4,6.913732211358539,6.745982892772529,6.451127819548872,7.322175732217573,7.088888888888889,6.121739130434783,6.293192219679633,6.0,7.1,6.368421052631579,5.7043478260869565,6.003376013264554,6.2,6.440677966101695,5.625,5.747826086956522,,,,,,,,,,,7.108888888888888,6.18,7.8,8.055555555555555,6.4,7.506864844093105,7.434343434343434,7.933333333333334,8.025,6.6347826086956525,0.1516407095078733,0.867871773761931 ablation-26-reasoning.inputs-shisa-v2-llama-3.1-8b-lr8e6,3,6.725008601249731,6.744486560362083,6.521739130434782,6.610169491525424,7.648936170212766,6.197101449275363,5.766992753623189,5.36,5.716666666666667,6.6521739130434785,5.339130434782609,,,,,,,,,,,,,,,,7.285004605747973,6.74,7.4576271186440675,7.925,7.017391304347826,7.103550485265677,7.474747474747475,6.672413793103448,8.03225806451613,6.234782608695652,,0.7874667367602188 mistralai/Mistral-Large-Instruct-2407,3,6.7256962589859,6.7363324370997,7.933110367892977,6.444444444444445,5.176470588235294,7.391304347826087,6.186884057971014,7.68,5.766666666666667,4.64,6.660869565217391,,,,,,,,,,,,,,,,6.832173913043478,7.62,6.9,5.2,7.608695652173913,7.14739462782941,8.505050505050505,6.666666666666667,5.513513513513513,7.904347826086957,,0.8211873394461634 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage6-to50-more-3e6,1,6.730899122807019,6.730899122807019,7.86,6.43859649122807,6.025,6.6,,,,,,,,,,,,,,,,6.730899122807019,7.86,6.43859649122807,6.025,6.6,,,,,,,,,,,,0.8573697533626162 shisa-ai/shisa-v1-llama3-8b.sharegpt_filtered_appended,4,6.862487396418743,6.721937319972819,6.452261306532663,6.7866108786610875,7.56390977443609,6.084967320261438,6.151604028494227,5.92,6.576271186440678,6.466666666666667,5.643478260869565,5.970789473684211,6.52,5.6,6.105263157894737,5.657894736842105,,,,,,,,,,,7.2126086956521736,6.42,7.6,8.5,6.3304347826086955,7.3637995415557524,6.959183673469388,7.366666666666666,8.425,6.7043478260869565,0.14934338694482885,0.8745379312859506 kinokokoro/cyberagent-mistral-nemo-webnovels,4,6.948891217646103,6.708852325154336,6.125,7.058577405857741,7.3816793893129775,6.270152505446623,6.34389599317988,5.52,6.733333333333333,7.235294117647059,5.886956521739131,5.76009515313708,5.9,5.9491525423728815,5.7,5.491228070175438,,,,,,,,,,,7.406268115942029,6.12,8.0,8.583333333333334,6.921739130434783,7.336548436308162,6.96,7.533333333333333,8.078947368421053,6.773913043478261,0.20638479624100955,0.8397646591762677 shisa-ai/shisa-v2.1-unphi4-14b-denoted-stage6-to50-more,1,6.705775862068965,6.705775862068965,7.48,6.793103448275862,6.15,6.4,,,,,,,,,,,,,,,,6.705775862068965,7.48,6.793103448275862,6.15,6.4,,,,,,,,,,,,0.8659532431294026 ablation-51-reasoning.mathcode-shisa-v2-llama-3.1-8b,3,6.61729518617373,6.681859769387576,6.268456375838926,7.022346368715084,7.6395348837209305,5.797101449275362,5.7857246376811595,5.54,6.333333333333333,6.0,5.269565217391304,,,,,,,,,,,,,,,,6.855712560386474,6.14,7.3,7.861111111111111,6.121739130434783,7.1458837772397095,7.142857142857143,7.440677966101695,8.0,6.0,,0.5878100771469145 shisa-v1-llama3-8b-unsloth-qlora,4,6.842296682498138,6.681462791869754,6.215,6.861344537815126,8.156028368794326,5.493478260869566,6.286610504455015,5.82,6.728813559322034,7.545454545454546,5.052173913043478,5.969313743551952,6.18,5.813559322033898,6.875,5.008695652173913,,,,,,,,,,,6.994501114827202,5.76,7.416666666666667,8.923076923076923,5.878260869565217,7.40661231884058,7.1,7.466666666666667,9.025,6.034782608695652,0.14624510897742332,0.8792835813814405 shisa-ai/shisa-v1-qwen2-7b,4,6.792637159566132,6.653625756925168,6.425,7.2719665271966525,6.985074626865671,5.932461873638344,6.114130434782609,6.0,7.15,5.95,5.356521739130435,5.984989040681746,6.3,6.203389830508475,5.897435897435898,5.539130434782609,,,,,,,,,,,7.084118357487922,6.2,7.866666666666666,7.861111111111111,6.408695652173913,7.318674089068827,7.2,7.85,7.794871794871795,6.4298245614035086,0.13494563037535448,0.8749751870282417 shisa-ai/shisa-v1-llama3-8b.sharegpt_original,4,6.781791134437423,6.646074857026144,6.255,6.529411764705882,7.6953125,6.104575163398692,6.228757763975155,5.72,6.4,7.142857142857143,5.6521739130434785,6.024079306500596,6.3,5.551724137931035,6.435897435897436,5.808695652173913,,,,,,,,,,,6.994875776397516,6.0,7.1,8.514285714285714,6.3652173913043475,7.257456140350877,7.0,7.033333333333333,8.4,6.5964912280701755,0.12578052004049461,0.8827385657831274 Qwen/Qwen3-8B,2,6.209749017698458,6.634123127511875,7.19,7.100840336134453,6.25,5.995652173913044,,,,,,,,,,,7.478496376811593,7.56,8.133333333333333,7.725,6.495652173913044,5.785374907885041,6.82,6.0508474576271185,4.775,5.495652173913044,,,,,,,,,,,,0.8614526919129891 shisa-ai/qwen3-8b-merge-nuslerp-189-170-161,1,6.617300724637682,6.617300724637682,7.4,6.933333333333334,5.875,6.260869565217392,,,,,,,,,,,,,,,,6.617300724637682,7.4,6.933333333333334,5.875,6.260869565217392,,,,,,,,,,,,0.8460481900837993 038-sarashina2.2-3b-instruct-v2new-sft,1,,6.59233695652174,7.34,6.55,6.175,6.304347826086956,,,,,,,,,,,6.59233695652174,7.34,6.55,6.175,6.304347826086956,,,,,,,,,,,,,,,,,0.8620200804001846 kinokokoro/cyberagent-mistral-nemo-webnovels-cp2460,4,6.800934239807294,6.588922026009513,6.135,6.889830508474576,7.378787878787879,5.952069716775599,6.202149758454106,5.74,6.666666666666667,6.888888888888889,5.51304347826087,5.696130952380952,6.0,5.892857142857143,5.725,5.166666666666667,,,,,,,,,,,7.172393435635124,6.04,7.683333333333334,8.470588235294118,6.495652173913044,7.240271739130435,6.76,7.25,8.325,6.626086956521739,0.19395679219146814,0.855492496520768 shisa-ai/185-qwen3-8b-v2.1o-dpo-7e8,1,6.584528985507246,6.584528985507246,7.42,6.483333333333333,6.0,6.434782608695652,,,,,,,,,,,,,,,,6.584528985507246,7.42,6.483333333333333,6.0,6.434782608695652,,,,,,,,,,,,0.8621100169147347 shisa-ai/qwen3-30b-a3b-1ep-checkpoint-18320,1,6.581614906832298,6.581614906832298,7.16,6.714285714285714,6.2,6.252173913043478,,,,,,,,,,,,,,,,6.581614906832298,7.16,6.714285714285714,6.2,6.252173913043478,,,,,,,,,,,,0.8526879534397118 lightblue/20240422,4,6.721501631444287,6.574613300867049,6.465,6.15987460815047,7.6692307692307695,6.004347826086956,6.155484839816934,6.0,5.8375,7.2105263157894735,5.573913043478261,5.964038937809576,6.68,4.962025316455696,6.675,5.539130434782609,,,,,,,,,,,6.807581521739131,6.12,6.7625,8.0,6.3478260869565215,7.348326863354036,7.06,7.0625,8.714285714285714,6.556521739130435,0.1270049879843517,0.8804116451503144 flux-inc/Flux-Japanese-Qwen2.5-32B-Instruct-V1.0,1,6.558484708916728,6.558484708916728,7.94,6.440677966101695,5.575,6.278260869565218,,,,,,,,,,,,,,,,6.558484708916728,7.94,6.440677966101695,5.575,6.278260869565218,,,,,,,,,,,,0.8609691816562762 meta-llama/Llama-3.1-8B-Instruct,5,6.697319311941877,6.552848466650653,6.972,6.483333333333333,6.49171270718232,6.264347826086957,6.680398550724638,6.46,6.783333333333333,7.217391304347826,6.260869565217392,,,,,,5.930398550724638,6.96,5.683333333333334,5.2,5.878260869565217,4.861213768115942,6.48,4.283333333333333,3.725,4.956521739130435,7.6580797101449285,6.92,8.216666666666667,8.4,7.095652173913043,7.734056064073226,8.04,7.45,8.31578947368421,7.130434782608695,,0.8795129626440272 shisa-ai/shisa-v1-phi3-14b,4,6.734049575542722,6.539283788643102,6.49,6.130252100840337,7.622222222222222,5.914660831509847,6.284651029748284,6.06,5.95,7.7894736842105265,5.339130434782609,5.78764189807751,6.28,5.258620689655173,6.55,5.061946902654867,,,,,,,,,,,6.971335683509596,6.16,6.933333333333334,8.27027027027027,6.521739130434782,7.140927800269905,7.46,6.35,8.025641025641026,6.728070175438597,0.16352215533230924,0.8166872561118435 040-sarashina2.2-3b-v2new-sft,1,,6.537282608695652,7.16,6.2,6.25,6.539130434782609,,,,,,,,,,,6.537282608695652,7.16,6.2,6.25,6.539130434782609,,,,,,,,,,,,,,,,,0.8397486210813867 shisa-v2-llama3.1-405b-W4A16-gs128,1,,6.536521739130435,8.72,8.6,1.0,7.826086956521739,,,,,,,,,,,6.536521739130435,8.72,8.6,1.0,7.826086956521739,,,,,,,,,,,,,,,,,0.8788668395495101 049-phi4-mini-3.8b-v2new-dpo405b,1,,6.533387681159421,6.56,6.783333333333333,6.425,6.3652173913043475,,,,,,,,,,,6.533387681159421,6.56,6.783333333333333,6.425,6.3652173913043475,,,,,,,,,,,,,,,,,0.8406256318262381 042-llama3.2-3b-v2new-sft,1,,6.499492753623189,6.64,6.666666666666667,6.7,5.991304347826087,,,,,,,,,,,6.499492753623189,6.64,6.666666666666667,6.7,5.991304347826087,,,,,,,,,,,,,,,,,0.8859123117712159 mistralai/Ministral-3-14B-Instruct-2512,1,6.49355644546148,6.49355644546148,7.86,6.385964912280702,5.25,6.478260869565218,,,,,,,,,,,,,,,,6.49355644546148,7.86,6.385964912280702,5.25,6.478260869565218,,,,,,,,,,,,0.8158746773805196 ablation-56-rafathenev2.rp.tl.gamma-shisa-v2-gamma-7b,3,6.415907797078554,6.443482511537527,6.126666666666667,6.072625698324022,6.65,6.92463768115942,5.618474446987032,5.68,5.266666666666667,5.631578947368421,5.895652173913043,,,,,,,,,,,,,,,,7.027215865751335,6.42,6.966666666666667,7.052631578947368,7.6695652173913045,6.574458364038319,6.28,5.983050847457627,6.826086956521739,7.208695652173913,,0.40070819173122174 mistralai/Mistral-Large-Instruct-2411,4,6.607808662241984,6.430084671177005,7.755,6.595833333333333,4.741496598639456,6.62800875273523,6.050988779803646,7.44,6.1,4.516129032258065,6.147826086956521,5.7198511904761915,7.48,5.983333333333333,3.55,5.866071428571429,,,,,,,,,,,6.882814938684503,7.62,7.266666666666667,5.435897435897436,7.208695652173913,7.067346259302781,8.48,7.033333333333333,5.486486486486487,7.269565217391304,0.1552413589437924,0.806524621205623 shisa-ai/shisa-v2-llama3.1-8b,2,6.051770833333333,6.420516304347826,7.3,5.95,6.4625,5.969565217391304,,,,,,,,,,,7.158007246376812,7.54,6.833333333333333,7.85,6.408695652173913,5.6830253623188405,7.06,5.066666666666666,5.075,5.530434782608696,,,,,,,,,,,,0.8768247634885021 google/gemma-3-4b-it,1,,6.414800724637681,7.34,6.783333333333333,5.675,5.860869565217391,,,,,,,,,,,6.414800724637681,7.34,6.783333333333333,5.675,5.860869565217391,,,,,,,,,,,,,,,,,0.8813499593268707 xverse/XVERSE-13B-Chat,4,6.546166116027777,6.4118401348760505,6.225,6.382445141065831,7.423357664233577,5.616557734204793,5.982042984189723,5.68,6.0375,7.045454545454546,5.165217391304348,5.847092391304348,6.34,5.3375,6.65,5.060869565217391,,,,,,,,,,,6.715024766097963,6.0,7.025316455696203,7.8,6.034782608695652,7.075756578947368,6.88,7.1375,8.075,6.2105263157894735,0.11955920617281067,0.7940213707800778 048-phi4-mini-3.8b-v2new-sft,1,,6.409076086956523,6.72,6.4,6.525,5.991304347826087,,,,,,,,,,,6.409076086956523,6.72,6.4,6.525,5.991304347826087,,,,,,,,,,,,,,,,,0.8727844077186873 shisa-ai/189-qwen3-8b-v2.1o-dpo-2e7,1,6.404619565217391,6.404619565217391,7.1,6.5,5.575,6.443478260869565,,,,,,,,,,,,,,,,6.404619565217391,7.1,6.5,5.575,6.443478260869565,,,,,,,,,,,,0.8599172434648636 shisa-ai/184-llama3.1-8b-v2.1o-dpo-5e8,1,6.391739130434782,6.391739130434782,7.48,6.15,6.05,5.886956521739131,,,,,,,,,,,,,,,,6.391739130434782,7.48,6.15,6.05,5.886956521739131,,,,,,,,,,,,0.8629775786864068 shisa-ai/shisa-llama3-8b-v1.fp0.0,1,,6.383333333333334,,6.383333333333334,,,,,,,,6.383333333333334,,6.383333333333334,,,,,,,,,,,,,,,,,,,,,,,,0.891791073436462 tokyotech-llm/Swallow-7b-instruct-v0.1,3,6.3592017850570475,6.3699989242895425,6.0200668896321075,6.211111111111111,7.5473684210526315,5.701449275362319,5.769601449275362,5.44,5.516666666666667,7.086956521739131,5.034782608695652,,,,,,,,,,,,,,,,6.506560166886254,5.797979797979798,6.683333333333334,7.666666666666667,5.878260869565217,6.790646599777035,6.82,6.433333333333334,7.717948717948718,6.191304347826087,,0.8084453964397599 shisa-ai/shisa-llama3-8b-v1.fp0.8,1,,6.362068965517241,,6.362068965517241,,,,,,,,6.362068965517241,,6.362068965517241,,,,,,,,,,,,,,,,,,,,,,,,0.8914053476230777 ablation-57-rafathenev2.rp.tl.shisav1-shisa-v2-shisa-base-7b-v1,3,6.3318565911383775,6.361806260293022,5.226666666666667,6.106145251396648,7.65934065934066,6.455072463768116,5.557771739130435,4.88,5.6,6.125,5.626086956521739,,,,,,,,,,,,,,,,6.940292004421518,5.44,6.813559322033898,8.325,7.182608695652174,6.467556360708534,5.36,5.916666666666667,8.037037037037036,6.556521739130435,,0.8497881921363664 shisa-ai/shisa-v1-llama3-8b.lr-5e5,4,6.393020522461199,6.338839336221608,6.12,7.324894514767933,6.487804878048781,5.4226579520697165,5.558019323671497,5.72,7.0,4.555555555555555,4.956521739130435,5.747858439201452,6.28,6.448275862068965,5.368421052631579,4.894736842105263,,,,,,,,,,,6.783393719806764,5.9,8.05,7.444444444444445,5.739130434782608,6.891829710144927,6.58,7.766666666666667,7.125,6.095652173913043,0.11224390615809578,0.8703420925521761 shisa-ai/shisa-gemma-7b-v1,4,6.4810275539805255,6.338698085464204,6.195488721804511,6.518828451882845,6.562043795620438,6.078431372549019,5.941449275362319,5.86,6.366666666666666,5.8,5.739130434782608,5.673964533378682,6.5,5.423728813559322,5.102564102564102,5.6695652173913045,,,,,,,,,,,6.700594965675057,5.92,7.2,7.473684210526316,6.208695652173913,6.9433678894205215,6.505050505050505,7.066666666666666,7.5,6.701754385964913,0.14223970133300437,0.8435782246140439 shisa-ai/182-llama3.1-8b-v2.1o-dpo-2e7,1,6.33018115942029,6.33018115942029,7.22,6.133333333333334,5.95,6.017391304347826,,,,,,,,,,,,,,,,6.33018115942029,7.22,6.133333333333334,5.95,6.017391304347826,,,,,,,,,,,,0.8505891297006883 051-tanuki-8b-v2new-dpo405b,1,,6.299945652173912,6.34,6.05,6.775,6.034782608695652,,,,,,,,,,,6.299945652173912,6.34,6.05,6.775,6.034782608695652,,,,,,,,,,,,,,,,,0.8725457926237836 mistralai/Ministral-8B-Instruct-2410,1,,6.277916666666667,6.72,6.016666666666667,6.575,5.8,,,,,,,,,,,6.277916666666667,6.72,6.016666666666667,6.575,5.8,,,,,,,,,,,,,,,,,0.8822043582647784 shisa-ai/183-llama3.1-8b-v2.1o-dpo-7e8,1,6.2583876811594195,6.2583876811594195,7.06,6.083333333333333,5.925,5.965217391304348,,,,,,,,,,,,,,,,6.2583876811594195,7.06,6.083333333333333,5.925,5.965217391304348,,,,,,,,,,,,0.8585715154594409 Nexusflow/Starling-LM-7B-beta,4,6.497328942668638,6.257914707205522,6.3007518796992485,6.884012539184953,5.764285714285714,6.082608695652174,5.904585626490553,5.76,6.594936708860759,5.541666666666667,5.721739130434782,5.311766304347826,5.74,5.6125,4.425,5.469565217391304,,,,,,,,,,,6.939831741326307,6.424242424242424,7.5875,7.138888888888889,6.608695652173913,6.886983695652173,7.28,7.7375,6.0,6.530434782608696,0.22319555688103163,0.8823527502435909 ablation-25-reasoning-shisa-v2-llama-3.1-8b-lr8e6,3,6.2347634370460465,6.25683110367893,6.414715719063545,6.216666666666667,6.48,5.915942028985508,5.256739130434783,5.34,5.6,5.0,5.086956521739131,,,,,,,,,,,,,,,,6.608361204013378,6.5,6.966666666666667,6.410256410256411,6.556521739130435,6.817122310057093,7.414141414141414,6.083333333333333,7.666666666666667,6.104347826086957,,0.8083100668797768 Qwen/Qwen1.5-7B-Chat,4,6.483317999474845,6.254733661005924,5.919799498746867,6.776729559748428,6.291970802919708,6.030434782608696,5.7562208769033205,5.44,6.544303797468355,5.666666666666667,5.373913043478261,5.275861900780379,5.54,5.4125,4.82051282051282,5.3304347826086955,,,,,,,,,,,6.8356608832152315,5.838383838383838,7.575,7.216216216216216,6.71304347826087,7.086656576774904,6.86,7.582278481012659,7.2,6.7043478260869565,0.22886423515290738,0.8675550071349466 074-phi4mini-4b-v2new-sft,1,,6.251847826086957,6.54,6.45,6.2,5.817391304347826,,,,,,,,,,,6.251847826086957,6.54,6.45,6.2,5.817391304347826,,,,,,,,,,,,,,,,,0.8705520514833354 shisa-ai/llama3.2-3b-merge-nuslerp-160-154-153,2,5.8246784420289845,6.250353260869565,6.64,5.975,6.5125,5.873913043478261,,,,,,,,,,,7.101702898550724,6.98,7.083333333333333,7.9,6.443478260869565,5.399003623188405,6.3,4.866666666666666,5.125,5.304347826086956,,,,,,,,,,,,0.8683130231412417 ablation-36-cmrmix-shisa-v2-llama-3.1-8b-lr8e6,3,6.216981139282945,6.242872665704611,6.14,6.888268156424581,6.882352941176471,5.060869565217391,5.502026529108327,5.7,6.3559322033898304,5.5,4.452173913043478,,,,,,,,,,,,,,,,6.5527173913043475,5.8,7.483333333333333,7.666666666666667,5.260869565217392,6.570307971014493,6.92,6.816666666666666,7.075,5.469565217391304,,0.8636557409741696 shisa-ai/181-llama3.1-8b-v2.1o-dpo-1.2e7,1,6.2387500000000005,6.2387500000000005,7.28,6.0,5.675,6.0,,,,,,,,,,,,,,,,6.2387500000000005,7.28,6.0,5.675,6.0,,,,,,,,,,,,0.8526180122761288 shisa-ai/160-llama3.2-3b-v2.1-153sft-dpo-4e7,2,5.823691123188405,6.2294112318840575,6.72,6.191666666666666,6.2625,5.743478260869566,,,,,,,,,,,7.040851449275362,7.0,7.266666666666667,7.575,6.321739130434783,5.417971014492754,6.44,5.116666666666666,4.95,5.165217391304348,,,,,,,,,,,,0.8696077350632918 shisa-ai/171-llama3.2-3b-v2.1-153sft-dpo-2e7,2,5.798976449275362,6.218478260869565,6.7,5.975,6.425,5.773913043478261,,,,,,,,,,,7.057481884057971,7.16,7.016666666666667,7.775,6.278260869565218,5.3794746376811595,6.24,4.933333333333334,5.075,5.269565217391304,,,,,,,,,,,,0.8631756303778169 shisa-ai/179-llama3.1-8b-v2.1-sft,1,6.205398550724638,6.205398550724638,7.16,5.783333333333333,5.6,6.278260869565218,,,,,,,,,,,,,,,,6.205398550724638,7.16,5.783333333333333,5.6,6.278260869565218,,,,,,,,,,,,0.8452538152439936 LiquidAI/LFM2-24B-A2B,1,6.204679535232384,6.204679535232384,6.58,6.172413793103448,6.075,5.991304347826087,,,,,,,,,,,,,,,,6.204679535232384,6.58,6.172413793103448,6.075,5.991304347826087,,,,,,,,,,,,0.8619114963911704 shisa-ai/shisa-llama3-8b-v1.rp-1.0,1,,6.2,,6.2,,,,,,,,6.2,,6.2,,,,,,,,,,,,,,,,,,,,,,,,0.8937911577033474 mistralai/Ministral-3-8B-Instruct-2512,1,6.194485077376567,6.194485077376567,7.32,6.237288135593221,4.925,6.2956521739130435,,,,,,,,,,,,,,,,6.194485077376567,7.32,6.237288135593221,4.925,6.2956521739130435,,,,,,,,,,,,0.8257010276449549 shisa-ai/024-llama3.1-8b-v2new-dpo405b,1,6.186014492753624,6.186014492753624,7.16,6.166666666666667,5.6,5.817391304347826,,,,,,,,,,,,,,,,6.186014492753624,7.16,6.166666666666667,5.6,5.817391304347826,,,,,,,,,,,,0.8588727779619323 ablation-39-cmrmix.masked-shisa-v2-llama-3.1-8b-lr8e6,3,6.1730496199791505,6.184962126717851,6.0134228187919465,6.692737430167598,6.561224489795919,5.472463768115942,5.532167908512787,5.4,6.203389830508475,5.62962962962963,4.895652173913043,,,,,,,,,,,,,,,,6.444006278400688,5.6938775510204085,7.183333333333334,7.2727272727272725,5.626086956521739,6.531062166285278,6.94,6.683333333333334,6.605263157894737,5.895652173913043,,0.8659551051867763 shisa-ai/llama3.2-3b-merge-nuslerp-171-160-153,2,5.761721014492753,6.172427536231885,6.61,6.091666666666667,6.375,5.613043478260869,,,,,,,,,,,6.993840579710144,6.9,7.066666666666666,7.8,6.208695652173913,5.351014492753623,6.32,5.116666666666666,4.95,5.017391304347826,,,,,,,,,,,,0.8757564928774367 shisa-ai/shisa-llama3-8b-v1-original,1,,6.166666666666667,,6.166666666666667,,,,,,,,6.166666666666667,,6.166666666666667,,,,,,,,,,,,,,,,,,,,,,,,0.8937911577033474 shisa-ai/022-llama3.1-8b-v2new-sft,1,6.153949275362319,6.153949275362319,7.16,5.816666666666666,5.5,6.139130434782609,,,,,,,,,,,,,,,,6.153949275362319,7.16,5.816666666666666,5.5,6.139130434782609,,,,,,,,,,,,0.8551620839156636 050-tanuki-8b-v2new-sft,1,,6.152898550724638,6.2,5.783333333333333,6.75,5.878260869565217,,,,,,,,,,,6.152898550724638,6.2,5.783333333333333,6.75,5.878260869565217,,,,,,,,,,,,,,,,,0.8824803927344347 Rakuten/RakutenAI-7B-chat,4,6.292684881228365,6.145913381377364,5.97,5.638364779874214,7.602739726027397,5.372549019607843,5.792034161490683,5.52,5.35,7.428571428571429,4.869565217391305,5.558532608695652,5.92,4.6,6.575,5.139130434782609,,,,,,,,,,,6.45662970134366,5.72,6.243589743589744,8.236842105263158,5.626086956521739,6.776162280701754,6.72,6.375,8.15,5.859649122807017,0.132076633207876,0.8852044676610007 nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16,1,6.133287106446777,6.133287106446777,7.58,6.137931034482759,5.05,5.765217391304348,,,,,,,,,,,,,,,,6.133287106446777,7.58,6.137931034482759,5.05,5.765217391304348,,,,,,,,,,,,0.7278760622624082 shisa-ai/180-llama3.1-8b-v2.1-dpo-1.2e7,1,6.104426123802504,6.104426123802504,7.2,5.779661016949152,5.525,5.913043478260869,,,,,,,,,,,,,,,,6.104426123802504,7.2,5.779661016949152,5.525,5.913043478260869,,,,,,,,,,,,0.8331081879144491 shisa-ai/154-llama3.2-3b-v2.1-dpo,2,5.688432917474286,6.0975760412860796,6.6,6.07563025210084,6.2625,5.452173913043478,,,,,,,,,,,6.911521739130434,6.92,7.1,7.6,6.026086956521739,5.279289793662491,6.28,5.033898305084746,4.925,4.878260869565217,,,,,,,,,,,,0.8730140239046839 shisa-ai/shisa-llama3-8b-v1,1,,6.084546147978642,6.52,,6.368421052631579,5.3652173913043475,,,,,,6.084546147978642,6.52,,6.368421052631579,5.3652173913043475,,,,,,,,,,,,,,,,,,,,,,0.8646821409657314 fireworks_ai/accounts/fireworks/models/llama-v3p1-8b-instruct,4,6.248913511404775,6.077382687876917,5.975,6.367088607594937,6.468531468531468,5.498910675381263,5.704130434782608,5.48,6.1,6.28,4.956521739130435,5.37706712433257,6.14,5.350877192982456,5.0,5.017391304347826,,,,,,,,,,,6.628241800152556,5.7,7.233333333333333,7.657894736842105,5.921739130434783,6.585899122807017,6.58,6.733333333333333,6.925,6.105263157894737,0.16214162235894036,0.870912726190709 meta-llama/Meta-Llama-3-8B-Instruct,4,6.1108163830629305,6.045922293017364,6.575,7.6722689075630255,3.8732394366197185,6.06318082788671,5.598938835666912,6.12,6.762711864406779,3.9130434782608696,5.6,5.798373104371096,6.68,7.677966101694915,3.125,5.7105263157894735,,,,,,,,,,,5.8647282608695654,6.46,7.95,2.675,6.373913043478261,6.933676142697882,7.04,8.283333333333333,5.846153846153846,6.565217391304348,0.05388464541136532,0.1879059260940663 elyza/ELYZA-japanese-Llama-2-13b-instruct,4,6.212657319072086,6.032944370532788,5.658291457286432,5.33125,7.085714285714285,6.056521739130435,5.6003804347826085,5.02,5.225,6.695652173913044,5.460869565217391,5.293070652173913,5.6,4.3125,5.625,5.6347826086956525,,,,,,,,,,,6.495971576813968,5.313131313131313,5.9375,8.08108108108108,6.6521739130434785,6.721332894158982,6.707070707070707,5.85,7.85,6.478260869565218,0.1737340623859782,0.8844438576276311 shisa-ai/shisa-v2-llama3.1-8b-sft-a163,1,6.002916666666667,6.002916666666667,6.82,5.516666666666667,5.875,5.8,,,,,,,,,,,,,,,,6.002916666666667,6.82,5.516666666666667,5.875,5.8,,,,,,,,,,,,0.8667669419649353 shisa-ai/053-llama3.1-8b-base-v2new-dpo405b,1,5.977501842299189,5.977501842299189,6.64,5.983050847457627,5.4,5.886956521739131,,,,,,,,,,,,,,,,5.977501842299189,6.64,5.983050847457627,5.4,5.886956521739131,,,,,,,,,,,,0.8612894312212142 LiquidAI/LFM2-8B-A1B,1,5.969619565217392,5.969619565217392,6.16,6.15,6.325,5.243478260869566,,,,,,,,,,,,,,,,5.969619565217392,6.16,6.15,6.325,5.243478260869566,,,,,,,,,,,,0.8243703060105206 012-smoothieqwen3-8b-v2-sft,1,,5.941320055850754,6.64,6.11864406779661,5.7631578947368425,5.243478260869566,,,,,,,,,,,5.941320055850754,6.64,6.11864406779661,5.7631578947368425,5.243478260869566,,,,,,,,,,,,,,,,,0.9134967759630233 shisa-ai/052-llama3.1-8b-base-v2new-sft,1,5.939607590272661,5.939607590272661,6.32,5.610169491525424,5.95,5.878260869565217,,,,,,,,,,,,,,,,5.939607590272661,6.32,5.610169491525424,5.95,5.878260869565217,,,,,,,,,,,,0.859505503514992 microsoft/Phi-4-reasoning-oldct,1,5.920153673163418,5.920153673163418,7.76,5.379310344827586,5.35,5.191304347826087,,,,,,,,,,,,,,,,5.920153673163418,7.76,5.379310344827586,5.35,5.191304347826087,,,,,,,,,,,,0.5670810959201914 shisa-ai/shisa-v1-mistral0.3-7b,4,6.052202790662467,5.887495637979772,5.96,7.059071729957806,5.065693430656935,5.465217391304348,5.252664917541229,5.38,6.724137931034483,3.95,4.956521739130435,5.109065033161385,5.64,6.101694915254237,3.825,4.869565217391305,,,,,,,,,,,6.48433901292597,5.94,7.65,6.486486486486487,5.860869565217391,6.584311594202899,6.88,7.733333333333333,5.55,6.173913043478261,0.18460085189353875,0.8358206096927937 ablation-41-cmrmixen.masked-shisa-v2-llama-3.1-8b-lr8e6,3,5.812699318506465,5.829979911034582,5.3133333333333335,6.233333333333333,6.732673267326732,5.040579710144928,5.12311191626409,4.86,5.683333333333334,5.592592592592593,4.356521739130435,,,,,,,,,,,,,,,,6.054648033126295,4.76,6.766666666666667,7.457142857142857,5.234782608695652,6.2430574136008925,6.32,6.25,6.871794871794871,5.530434782608696,,0.8605123792378748 openchat/openchat-3.5-0106,4,5.9780707190141475,5.797176043726785,5.869674185463659,6.050314465408805,5.120567375886525,6.148148148148148,5.332624571355997,5.5,5.734177215189874,4.461538461538462,5.6347826086956525,5.060298913043479,5.82,5.0375,3.775,5.608695652173913,,,,,,,,,,,6.410749804833459,5.717171717171717,6.886075949367089,6.457142857142857,6.582608695652174,6.371732456140351,6.44,6.55,5.725,6.771929824561403,0.18136711323613927,0.869780087799694 lightblue/qarasu-14B-chat-plus-unleashed,4,5.910473262657836,5.783022116761168,5.458646616541353,5.482758620689655,6.742857142857143,5.447826086956522,5.373965327462852,5.14,5.1645569620253164,6.217391304347826,4.973913043478261,5.219785965845748,5.575757575757576,4.7375,5.461538461538462,5.104347826086957,,,,,,,,,,,6.114851258581236,5.08,6.0,7.631578947368421,5.747826086956522,6.370054347826088,6.04,6.025,7.45,5.965217391304348,0.13232099962171096,0.8633803953004935 Qwen/Qwen2.5-1.5B-Instruct,3,5.695082135165603,5.745185891269675,4.976588628762542,6.044943820224719,6.350515463917525,5.608695652173913,4.956992398091766,4.58,5.406779661016949,4.7368421052631575,5.104347826086957,,,,,,,,,,,,,,,,6.079654423457316,4.64,6.389830508474576,7.2105263157894735,6.078260869565217,5.998495827843653,5.717171717171717,6.333333333333333,6.3,5.643478260869565,,0.8775655915301424 029-shisa-gamma-7b-v1-v2new-dpo405b,1,,5.659619565217391,6.42,5.7,4.475,6.043478260869565,,,,,,,,,,,5.659619565217391,6.42,5.7,4.475,6.043478260869565,,,,,,,,,,,,,,,,,0.828682129238851 /fsx/ubuntu/meti/train/outputs/shisa-v1-tulu3.1-8b,4,6.06254681666896,5.6550675172285345,5.42,5.317796610169491,6.322033898305085,5.56043956043956,4.889358879882093,4.52,4.898305084745763,5.0,5.139130434782609,3.774232456140351,4.8,2.7719298245614037,4.025,3.5,,,,,,,,,,,7.139166666666666,6.34,7.566666666666666,8.05,6.6,6.56659420289855,6.02,5.9,7.433333333333334,6.913043478260869,0.6062992640545283,0.6496207840019026 openai/gpt-oss-20b,1,5.624873188405797,5.624873188405797,7.16,5.616666666666666,4.375,5.3478260869565215,,,,,,,,,,,,,,,,5.624873188405797,7.16,5.616666666666666,4.375,5.3478260869565215,,,,,,,,,,,,0.36217584766827116 llm-jp/llm-jp-4-8b-thinking,1,5.614329710144927,5.614329710144927,7.12,5.416666666666667,4.825,5.095652173913043,,,,,,,,,,,,,,,,5.614329710144927,7.12,5.416666666666667,4.825,5.095652173913043,,,,,,,,,,,,0.3847520988853787 mistralai/Mistral-7B-Instruct-v0.2,4,5.806665570989234,5.594484883226835,5.83,5.974921630094044,5.088235294117647,5.484782608695652,5.1618192219679635,5.28,5.7,4.7368421052631575,4.930434782608696,4.716195652173913,5.78,4.65,3.8,4.6347826086956525,,,,,,,,,,,6.18340165702301,5.76,6.936708860759493,5.8108108108108105,6.226086956521739,6.28695652173913,6.5,6.625,5.875,6.147826086956521,0.23121812563324703,0.5690302847352747 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter1,3,5.540879552211074,5.582946859903382,6.173333333333333,5.655555555555556,4.166666666666667,6.336231884057971,4.399873188405797,5.26,5.066666666666666,2.125,5.147826086956521,,,,,,,,,,,,,,,,6.2797282608695655,6.32,6.5,5.125,7.173913043478261,5.900969899665552,6.94,5.4,4.576923076923077,6.6869565217391305,,0.6552158214360588 zai-org/GLM-4.7-Flash,1,5.577218128224024,5.577218128224024,6.92,4.593220338983051,5.5,5.2956521739130435,,,,,,,,,,,,,,,,5.577218128224024,6.92,4.593220338983051,5.5,5.2956521739130435,,,,,,,,,,,,0.28746840973294424 DeepSeek-V3-slice-jp64-gguf,4,5.76961352752539,5.574430568806854,4.945,5.836134453781512,6.215277777777778,5.301310043668122,5.180724637681159,4.52,5.6,5.533333333333333,5.069565217391304,4.761110859044162,4.78,4.551724137931035,5.125,4.587719298245614,,,,,,,,,,,6.041287625418061,4.42,6.666666666666667,7.487179487179487,5.591304347826087,6.282011278195489,6.06,6.483333333333333,6.628571428571429,5.956140350877193,0.21182087507277536,0.8935598836433976 allenai/OLMo-2-1124-13B-Instruct,4,5.713196840538629,5.521062554417122,5.266331658291457,6.1625,5.111940298507463,5.543478260869565,5.036345755693582,4.74,5.933333333333334,4.428571428571429,5.043478260869565,4.714565217391304,5.08,4.7,4.0,5.078260869565217,,,,,,,,,,,6.12968897044984,5.090909090909091,7.216666666666667,6.228571428571429,5.982608695652174,6.165690081593971,6.161616161616162,6.8,5.631578947368421,6.069565217391304,0.21181839196189847,0.859792253251138 027-shisa-7b-v1-v2new-dpo405b,1,,5.518786231884058,5.34,5.066666666666666,6.425,5.243478260869566,,,,,,,,,,,5.518786231884058,5.34,5.066666666666666,6.425,5.243478260869566,,,,,,,,,,,,,,,,,0.8618649965965021 augmxnt/shisa-gamma-7b-v1,6,5.6098907156094535,5.511274472412916,5.723333333333334,4.988888888888889,5.947368421052632,5.385507246376812,5.720995311167946,5.32,5.416666666666667,6.764705882352941,5.3826086956521735,5.8513573021181715,5.96,5.016666666666667,6.846153846153846,5.582608695652174,4.865833333333333,5.88,4.183333333333334,4.6,4.8,3.90088768115942,5.28,2.933333333333333,3.425,3.965217391304348,6.374249011857708,5.48,6.366666666666666,7.424242424242424,6.226086956521739,6.542047101449276,6.42,6.016666666666667,7.375,6.356521739130435,-0.04126676496431143,0.8649707998733541 elyza/ELYZA-japanese-Llama-2-7b-instruct,3,5.489238470534033,5.508168123944174,5.351170568561873,4.832402234636872,6.707070707070707,5.142028985507246,4.843721268905499,4.9,4.288135593220339,6.0476190476190474,4.139130434782609,,,,,,,,,,,,,,,,5.7686152139241385,4.909090909090909,5.433333333333334,7.184210526315789,5.547826086956522,5.83644927536232,6.24,4.766666666666667,6.6,5.739130434782608,,0.8596572561601556 LiquidAI/LFM2-2.6B,1,5.4514130434782615,5.4514130434782615,5.96,5.5,4.85,5.495652173913044,,,,,,,,,,,,,,,,5.4514130434782615,5.96,5.5,4.85,5.495652173913044,,,,,,,,,,,,0.861334460869092 045-llama3.2-1b-v2new-dpo405b,1,,5.432101449275363,5.44,5.216666666666667,6.35,4.721739130434782,,,,,,,,,,,5.432101449275363,5.44,5.216666666666667,6.35,4.721739130434782,,,,,,,,,,,,,,,,,0.8519323738781561 inclusionAI/Ling-flash-2.0,1,5.429239130434782,5.429239130434782,6.88,5.0,3.95,5.886956521739131,,,,,,,,,,,,,,,,5.429239130434782,6.88,5.0,3.95,5.886956521739131,,,,,,,,,,,,0.7772475960259823 cyberagent/calm2-7b-chat,4,5.539907927472556,5.390230423691215,4.945,4.30625,6.918367346938775,5.391304347826087,5.015920164917541,4.5,4.125,6.551724137931035,4.886956521739131,4.780163043478261,4.9,3.575,5.75,4.895652173913043,,,,,,,,,,,5.57804347826087,4.46,4.7,7.3,5.852173913043479,6.1754376430205955,5.92,4.825,8.026315789473685,5.930434782608696,0.1589370230856123,0.8659391653044 shisa-ai/144-lfm2-1.2b-v2.1-dpo-1e-6,2,4.916114130434783,5.344094202898551,5.48,5.483333333333333,5.5,4.913043478260869,,,,,,,,,,,6.200054347826087,5.86,6.4,6.975,5.565217391304348,4.488134057971014,5.1,4.566666666666666,4.025,4.260869565217392,,,,,,,,,,,,0.8654444085118583 shisa-ai/shisa-yi1.5-9b-v1,4,5.457363239480422,5.343073694545857,5.915,5.329166666666667,4.625954198473282,5.502173913043478,4.601770186335404,5.44,5.0,3.0714285714285716,4.895652173913043,4.63863154960981,5.98,4.283333333333333,3.2564102564102564,5.034782608695652,,,,,,,,,,,5.805732265446224,5.56,6.1,5.7368421052631575,5.826086956521739,6.078876811594203,6.68,5.933333333333334,5.45,6.252173913043478,0.17650285027261572,0.8793375036506252 shisa-ai/169-lfm2-1.2b-v2.1-dpo-1e-6,2,4.895656702898551,5.297925724637681,5.46,5.183333333333334,5.3875,5.160869565217391,,,,,,,,,,,6.102463768115942,5.82,6.083333333333333,6.75,5.756521739130434,4.493387681159421,5.1,4.283333333333333,4.025,4.565217391304348,,,,,,,,,,,,0.8561444854736769 026-shisa-7b-v1-v2new-sft,1,,5.297300724637681,4.92,5.283333333333333,5.925,5.060869565217391,,,,,,,,,,,5.297300724637681,4.92,5.283333333333333,5.925,5.060869565217391,,,,,,,,,,,,,,,,,0.8743913182642044 shisa-ai/143-lfm2-1.2b-v2.1-dpo-8e-7,2,4.83784420289855,5.24143115942029,5.34,5.358333333333333,5.45,4.817391304347826,,,,,,,,,,,6.0486050724637686,5.66,6.183333333333334,6.925,5.426086956521739,4.434257246376811,5.02,4.533333333333333,3.975,4.208695652173913,,,,,,,,,,,,0.8606865473822071 baidu/ERNIE-4.5-21B-A3B-PT,1,5.23853813559322,5.23853813559322,6.68,4.9491525423728815,3.925,5.4,,,,,,,,,,,,,,,,5.23853813559322,6.68,4.9491525423728815,3.925,5.4,,,,,,,,,,,,0.8700427341102335 028-shisa-gamma-7b-v1-v2new-sft,1,,5.2326004053058215,6.24,4.576271186440678,4.375,5.739130434782608,,,,,,,,,,,5.2326004053058215,6.24,4.576271186440678,4.375,5.739130434782608,,,,,,,,,,,,,,,,,0.7622140165740685 shisa-ai/172-shisa-v1-7b-v2.1-midtrain,2,4.906856884057971,5.222862318840579,5.59,4.891666666666667,6.075,4.334782608695652,,,,,,,,,,,5.854873188405797,5.98,5.416666666666667,7.075,4.947826086956522,4.5908514492753625,5.2,4.366666666666666,5.075,3.7217391304347824,,,,,,,,,,,,0.8842584568727704 044-llama3.2-1b-v2new-sft,1,,5.197481884057971,5.12,5.016666666666667,5.975,4.678260869565217,,,,,,,,,,,5.197481884057971,5.12,5.016666666666667,5.975,4.678260869565217,,,,,,,,,,,,,,,,,0.8798498138661419 LiquidAI/LFM2-1.2B,2,4.879832427536233,5.196458333333334,5.44,5.183333333333334,5.2625,4.9,,,,,,,,,,,5.829710144927536,5.8,5.866666666666666,6.4,5.252173913043478,4.56320652173913,5.08,4.5,4.125,4.547826086956522,,,,,,,,,,,,0.889446423502461 shisa-ai/phi4mm-shisa-text-merged,1,5.176545031055901,5.176545031055901,6.02,5.303571428571429,4.4,4.982608695652174,,,,,,,,,,,,,,,,5.176545031055901,6.02,5.303571428571429,4.4,4.982608695652174,,,,,,,,,,,,0.8670994726069496 microsoft/Phi-4-reasoning,1,5.156223286661754,5.156223286661754,6.84,4.745762711864407,4.5,4.539130434782609,,,,,,,,,,,,,,,,5.156223286661754,6.84,4.745762711864407,4.5,4.539130434782609,,,,,,,,,,,,0.5497737360745261 dahara1/DeepSeek-R1-Distill-Qwen-14B-unsloth-jpn,4,5.326287933971625,5.152601675508366,5.483709273182957,5.577405857740586,4.892086330935252,4.657205240174672,4.579909420289855,4.82,5.3,4.208333333333333,3.991304347826087,4.416710526315789,5.38,4.266666666666667,3.95,4.0701754385964914,,,,,,,,,,,5.675596872616323,5.18,6.716666666666667,5.657894736842105,5.147826086956521,5.897043767471957,6.565656565656566,6.033898305084746,5.5675675675675675,5.421052631578948,0.20594000947908223,0.8087987112744507 shb777/Llama-3.3-8B-Instruct,1,5.135887681159421,5.135887681159421,6.72,4.783333333333333,4.075,4.965217391304348,,,,,,,,,,,,,,,,5.135887681159421,6.72,4.783333333333333,4.075,4.965217391304348,,,,,,,,,,,,0.8745778502528806 013-qwen3-8b-v2-dpo,1,,5.131520182443687,7.36734693877551,5.087719298245614,4.166666666666667,3.9043478260869566,,,,,,,,,,,5.131520182443687,7.36734693877551,5.087719298245614,4.166666666666667,3.9043478260869566,,,,,,,,,,,,,,,,,0.42868039403299013 037-rakuten-2.0-mini-instruct-1.5b-v2new-dpo405b,1,,5.112880434782609,5.42,4.6,5.675,4.756521739130434,,,,,,,,,,,5.112880434782609,5.42,4.6,5.675,4.756521739130434,,,,,,,,,,,,,,,,,0.8484877826904575 shisa-ai/200-nanbeige4-3b-v2.1-dpo,1,5.097518115942029,5.097518115942029,6.26,5.033333333333333,4.175,4.921739130434783,,,,,,,,,,,,,,,,5.097518115942029,6.26,5.033333333333333,4.175,4.921739130434783,,,,,,,,,,,,0.8541451344775933 shisa-ai/shisa-v2.1c2-phi4-mini-3.8b-sft-gad-dpo,1,5.0922564412238325,5.0922564412238325,5.94,5.351851851851852,4.225,4.852173913043479,,,,,,,,,,,,,,,,5.0922564412238325,5.94,5.351851851851852,4.225,4.852173913043479,,,,,,,,,,,,0.8645454101933246 065-voxtral-4x3b-test,1,,5.0877173913043485,4.74,4.65,5.9,5.060869565217391,,,,,,,,,,,5.0877173913043485,4.74,4.65,5.9,5.060869565217391,,,,,,,,,,,,,,,,,0.8587250834508547 shisa-ai/shisa-v2.1c2-phi4-mini-3.8b-sft-epoch1,1,5.06802822273074,5.06802822273074,5.94,5.192982456140351,4.2,4.939130434782609,,,,,,,,,,,,,,,,5.06802822273074,5.94,5.192982456140351,4.2,4.939130434782609,,,,,,,,,,,,0.8759261150361992 035-rakuten-2.0-mini-1.5b-v2new-dpo405b,1,,5.052699275362318,4.88,4.616666666666666,5.375,5.339130434782609,,,,,,,,,,,5.052699275362318,4.88,4.616666666666666,5.375,5.339130434782609,,,,,,,,,,,,,,,,,0.8211867780260819 meta-llama/Llama-2-13b-chat-hf,4,5.114524440059151,5.001875573289305,5.545,6.14873417721519,3.3333333333333335,4.980434782608696,4.3822503583373145,5.1,5.32051282051282,3.0476190476190474,4.060869565217391,4.522092391304348,5.64,5.7125,2.275,4.460869565217391,,,,,,,,,,,5.05549914187643,5.2,6.5625,2.8421052631578947,5.6173913043478265,6.018472686733556,6.24,7.0,5.051282051282051,5.782608695652174,0.13100839113637014,0.1118451710423793 HuggingFaceH4/zephyr-7b-beta,3,4.961743187904141,4.9865578887124675,5.086666666666667,5.694915254237288,4.237113402061856,4.927536231884058,4.1069675755342665,4.26,4.898305084745763,3.4,3.869565217391304,,,,,,,,,,,,,,,,5.361069115308537,4.96,6.322033898305085,4.657894736842105,5.504347826086956,5.392378172061296,6.04,5.864406779661017,4.256410256410256,5.408695652173913,,0.6665513461650457 shisa-ai/173-shisa-v1-7b-v2.1-midtrain-sft,1,4.937210144927536,4.937210144927536,5.68,4.716666666666667,4.9,4.452173913043478,,,,,,,,,,,,,,,,4.937210144927536,5.68,4.716666666666667,4.9,4.452173913043478,,,,,,,,,,,,0.8598291575116022 shisa-ai/194-shisa-7b-v1-v2.1o-dpo,1,4.934834193072955,4.934834193072955,5.44,4.52542372881356,5.2,4.573913043478261,,,,,,,,,,,,,,,,4.934834193072955,5.44,4.52542372881356,5.2,4.573913043478261,,,,,,,,,,,,0.8531743256739686 shisa-ai/shisa-phi4mm-textmerge-gad,1,4.878146135265701,4.878146135265701,5.64,4.888888888888889,3.975,5.008695652173913,,,,,,,,,,,,,,,,4.878146135265701,5.64,4.888888888888889,3.975,5.008695652173913,,,,,,,,,,,,0.8604135124495729 microsoft/Phi-4-reasoning-nothink,1,4.876594202898551,4.876594202898551,6.76,4.433333333333334,4.2,4.113043478260869,,,,,,,,,,,,,,,,4.876594202898551,6.76,4.433333333333334,4.2,4.113043478260869,,,,,,,,,,,,0.2051213771816035 shisa-ai/198-nanbeige4-3b-v2.1-sft,1,4.875126811594203,4.875126811594203,6.04,4.733333333333333,3.875,4.852173913043479,,,,,,,,,,,,,,,,4.875126811594203,6.04,4.733333333333333,3.875,4.852173913043479,,,,,,,,,,,,0.8356994271895879 mistralai/Ministral-3-3B-Instruct-2512,1,4.8739673913043475,4.8739673913043475,6.06,4.75,3.425,5.260869565217392,,,,,,,,,,,,,,,,4.8739673913043475,6.06,4.75,3.425,5.260869565217392,,,,,,,,,,,,0.8459046718944194 microsoft/Phi-4-mini-instruct,2,4.577942747376312,4.848331146926537,5.68,4.905172413793103,4.1125,4.695652173913044,,,,,,,,,,,5.376105072463769,5.92,5.633333333333334,4.925,5.026086956521739,4.307554347826088,5.44,4.125,3.3,4.3652173913043475,,,,,,,,,,,,0.8897130031671009 shisa-ai/090-llama3.2-1b-v2.1-dpo,2,4.3841847826086955,4.836304347826087,5.23,4.525,5.125,4.465217391304348,,,,,,,,,,,5.74054347826087,5.56,5.45,6.7,5.252173913043478,3.9320652173913047,4.9,3.6,3.55,3.6782608695652175,,,,,,,,,,,,0.8544658555092559 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter1-2x,3,4.7902564102564105,4.814480676328502,5.3533333333333335,4.794444444444444,3.391304347826087,5.718840579710145,3.715700483091788,4.4,4.2,1.8888888888888888,4.373913043478261,,,,,,,,,,,,,,,,5.608954849498328,6.04,5.583333333333333,4.282051282051282,6.530434782608696,5.0218896321070225,5.62,4.6,3.6153846153846154,6.252173913043478,,0.6122559500162029 shisa-ai/174-shisa-7b-v1-v2.1-dpo,1,4.797524871039057,4.797524871039057,5.62,4.271186440677966,4.925,4.373913043478261,,,,,,,,,,,,,,,,4.797524871039057,5.62,4.271186440677966,4.925,4.373913043478261,,,,,,,,,,,,0.8425470560772487 allenai/OLMo-2-1124-7B-Instruct,4,5.07077020448931,4.791578943302448,4.902255639097745,5.333333333333333,3.985074626865672,4.945652173913044,4.27738025055269,4.46,5.101694915254237,3.347826086956522,4.2,3.6182941221696843,4.48,3.810344827586207,2.4871794871794872,3.6956521739130435,,,,,,,,,,,5.803605852576104,4.787878787878788,6.7,5.552631578947368,6.173913043478261,5.410515771526002,5.88,5.666666666666667,4.382352941176471,5.71304347826087,0.40142565343711173,0.8227291314344074 shisa-ai/199-nanbeige4-3b-v2.1-dpo,1,4.75816322770818,4.75816322770818,5.88,4.898305084745763,3.55,4.7043478260869565,,,,,,,,,,,,,,,,4.75816322770818,5.88,4.898305084745763,3.55,4.7043478260869565,,,,,,,,,,,,0.824277562898829 microsoft/Phi-4-multimodal-instruct,1,4.723695652173913,4.723695652173913,5.96,4.7,3.8,4.434782608695652,,,,,,,,,,,,,,,,4.723695652173913,5.96,4.7,3.8,4.434782608695652,,,,,,,,,,,,0.8658619887912623 shisa-ai/188-lfm2-1.2b-v2.1o-dpo-1.6e7,1,4.719254789977892,4.719254789977892,5.42,4.3559322033898304,4.675,4.426086956521739,,,,,,,,,,,,,,,,4.719254789977892,5.42,4.3559322033898304,4.675,4.426086956521739,,,,,,,,,,,,0.8448135177524199 shisa-ai/shisa-v1-llama3-8b.lr-2e4,4,4.842355034624291,4.70486575445494,4.59,5.631799163179917,4.619402985074627,3.9782608695652173,3.930772946859903,4.04,5.366666666666666,3.0555555555555554,3.260869565217391,3.9273844496670587,4.7,4.483333333333333,3.3783783783783785,3.1478260869565218,,,,,,,,,,,5.34827480490524,4.38,6.35,5.871794871794871,4.791304347826087,5.385506632277082,5.24,6.338983050847458,5.25,4.71304347826087,0.23297199362155613,0.8734658957741069 017-qwen3-8b-v2-dpo405b-clr,1,,4.687882477933965,6.72,4.392857142857143,3.4473684210526314,4.191304347826087,,,,,,,,,,,4.687882477933965,6.72,4.392857142857143,3.4473684210526314,4.191304347826087,,,,,,,,,,,,,,,,,0.33341451528274924 034-rakuten-2.0-mini-1.5b-v2new-sft,1,,4.682101449275362,4.64,4.066666666666666,5.1,4.921739130434783,,,,,,,,,,,4.682101449275362,4.64,4.066666666666666,5.1,4.921739130434783,,,,,,,,,,,,,,,,,0.8429668568640154 shisa-ai/133-lfm2-1.2b-v2.1-sft-5e-5,1,4.670090579710145,4.670090579710145,5.08,4.366666666666666,4.825,4.408695652173913,,,,,,,,,,,,,,,,4.670090579710145,5.08,4.366666666666666,4.825,4.408695652173913,,,,,,,,,,,,0.854960345291222 036-rakuten-2.0-mini-instruct-1.5b-v2new-sft,1,,4.661268115942029,5.44,3.783333333333333,4.7,4.721739130434782,,,,,,,,,,,4.661268115942029,5.44,3.783333333333333,4.7,4.721739130434782,,,,,,,,,,,,,,,,,0.8507849033571175 shisa-ai/197-nanbeige4-3b-v2.1-sft,1,4.606286231884058,4.606286231884058,5.84,4.116666666666666,3.825,4.643478260869565,,,,,,,,,,,,,,,,4.606286231884058,5.84,4.116666666666666,3.825,4.643478260869565,,,,,,,,,,,,0.8613683565509404 Rakuten/RakutenAI-2.0-mini-instruct,1,,4.596376811594203,5.0,4.183333333333334,5.15,4.052173913043478,,,,,,,,,,,4.596376811594203,5.0,4.183333333333334,5.15,4.052173913043478,,,,,,,,,,,,,,,,,0.8869372393682569 meta-llama/Llama-4-Scout-17B-16E,1,4.559855072463768,4.559855072463768,5.08,4.283333333333333,4.85,4.026086956521739,,,,,,,,,,,,,,,,4.559855072463768,5.08,4.283333333333333,4.85,4.026086956521739,,,,,,,,,,,,0.8404390579438854 shisa-chotto-lfm2-350m-dpo2,1,,4.520923913043479,4.3,4.75,5.025,4.008695652173913,,,,,,,,,,,4.520923913043479,4.3,4.75,5.025,4.008695652173913,,,,,,,,,,,,,,,,,0.8688221120153714 shisa-ai/186-lfm2-1.2b-v2.1o-dpo-2.4e7,1,4.5144927536231885,4.5144927536231885,5.0,4.316666666666666,4.35,4.391304347826087,,,,,,,,,,,,,,,,4.5144927536231885,5.0,4.316666666666666,4.35,4.391304347826087,,,,,,,,,,,,0.8547675578049171 shisa-chotto-lfm2-350m-dpo3,1,,4.455307971014492,4.16,4.566666666666666,4.825,4.269565217391304,,,,,,,,,,,4.455307971014492,4.16,4.566666666666666,4.825,4.269565217391304,,,,,,,,,,,,,,,,,0.8791128858432902 meta-llama/Llama-2-7b-chat-hf,5,4.7069074588854365,4.415728134272612,4.725450901803607,5.5570291777188325,3.053475935828877,4.32695652173913,3.92102759650916,4.2,5.113924050632911,2.857142857142857,3.5130434782608697,4.0327717391304345,4.78,5.45,2.075,3.8260869565217392,3.5440942028985507,4.58,4.283333333333333,2.0,3.3130434782608695,,,,,,4.708442387926084,4.646464646464646,6.0125,2.948717948717949,5.226086956521739,5.782431716833891,5.42,6.628205128205129,5.325,5.756521739130434,0.16716436321297032,0.10104883085661474 shisa-chotto-lfm2-350m-sft,1,,4.3841847826086955,4.44,4.45,4.525,4.121739130434783,,,,,,,,,,,4.3841847826086955,4.44,4.45,4.525,4.121739130434783,,,,,,,,,,,,,,,,,0.8749481474033597 shisa-ai/shisa-phi4-mm-text,1,4.336834477498093,4.336834477498093,5.26,4.543859649122807,3.3,4.243478260869566,,,,,,,,,,,,,,,,4.336834477498093,5.26,4.543859649122807,3.3,4.243478260869566,,,,,,,,,,,,0.8978641633318464 Qwen/Qwen3.5-122B-A10B-FP8,1,4.334184782608695,4.334184782608695,5.64,3.8,4.175,3.7217391304347824,,,,,,,,,,,,,,,,4.334184782608695,5.64,3.8,4.175,3.7217391304347824,,,,,,,,,,,,0.5270523757648611 Qwen/Qwen3.6-27B-32k,1,4.310597826086957,4.310597826086957,5.5,3.05,5.875,2.8173913043478263,,,,,,,,,,,,,,,,4.310597826086957,5.5,3.05,5.875,2.8173913043478263,,,,,,,,,,,,0.4456721487766481 shisa-v2.1c-lfm2-350m-sft0-tlonly,1,,4.279293478260869,4.44,4.1,4.525,4.052173913043478,,,,,,,,,,,4.279293478260869,4.44,4.1,4.525,4.052173913043478,,,,,,,,,,,,,,,,,0.8631676843612964 Qwen/Qwen3-0.6B,1,,4.175054347826087,5.16,4.0,3.175,4.3652173913043475,,,,,,,,,,,4.175054347826087,5.16,4.0,3.175,4.3652173913043475,,,,,,,,,,,,,,,,,0.8348861659215192 spin-01-a55.test-shisa-v2-llama-3.1-8b-iter2,3,4.097327945442401,4.099738507427136,4.993333333333333,3.8547486033519553,1.9375,5.613372093023256,3.3318523550724635,4.24,3.533333333333333,1.40625,4.147826086956521,,,,,,,,,,,,,,,,4.631656259292299,5.58,4.271186440677966,2.3157894736842106,6.359649122807017,4.326064659977703,5.16,3.7666666666666666,2.0384615384615383,6.339130434782609,,0.20599378376056926 baidu/ERNIE-4.5-VL-28B-A3B-PT,1,4.095410079051383,4.095410079051383,5.86,3.4727272727272727,2.875,4.173913043478261,,,,,,,,,,,,,,,,4.095410079051383,5.86,3.4727272727272727,2.875,4.173913043478261,,,,,,,,,,,,0.8175891503035546 lightblue/starlingbeta_cult_dsir_megagon_final,4,4.191867079034968,4.072782746372781,4.6,3.19375,4.0638297872340425,4.4335511982570806,3.728641304347826,4.0,2.925,4.12,3.869565217391304,3.6138486842105264,4.96,2.6875,3.15,3.6578947368421053,,,,,,,,,,,4.234969153936546,3.86,3.525,4.702702702702703,4.852173913043479,4.7310751114827205,5.58,3.6375,4.358974358974359,5.3478260869565215,0.1599453782749386,0.8720510481389838 meta-llama/Llama-3.2-3B-Instruct,2,3.8177445652173914,4.063786231884058,5.32,3.9166666666666665,2.975,4.043478260869565,,,,,,,,,,,4.555869565217391,5.58,4.55,3.45,4.643478260869565,3.5717028985507246,5.06,3.283333333333333,2.5,3.4434782608695653,,,,,,,,,,,,0.8692189241005779 Deepreneur/blue-lizard,4,4.215168452442789,4.046864864555987,4.23,4.2301255230125525,4.013986013986014,3.713347921225383,3.66087956021989,3.58,4.166666666666667,3.8620689655172415,3.034782608695652,3.4038126843657817,4.38,3.1166666666666667,2.8,3.3185840707964602,,,,,,,,,,,4.407490788504052,3.58,5.084745762711864,5.0,3.965217391304348,4.745438596491228,5.38,4.566666666666666,4.5,4.535087719298246,0.2383667502632226,0.8914134432116396 shisa-7b-v1-noprompt,1,,4.043278985507246,4.38,3.683333333333333,3.875,4.234782608695652,,,,,,,,,,,4.043278985507246,4.38,3.683333333333333,3.875,4.234782608695652,,,,,,,,,,,,,,,,,0.8920124782193505 shisa-v2.1c-lfm2-350m-sft3,1,,4.033043478260869,4.18,3.8,4.5,3.652173913043478,,,,,,,,,,,4.033043478260869,4.18,3.8,4.5,3.652173913043478,,,,,,,,,,,,,,,,,0.8693270875998471 shisa-7b-v1-default-prompt,1,,3.9921920289855075,4.48,3.5833333333333335,3.975,3.9304347826086956,,,,,,,,,,,3.9921920289855075,4.48,3.5833333333333335,3.975,3.9304347826086956,,,,,,,,,,,,,,,,,0.8904554976101664 augmxnt/shisa-7b-v1-run2,1,,3.9766847826086957,4.36,3.75,3.875,3.9217391304347826,,,,,,,,,,,3.9766847826086957,4.36,3.75,3.875,3.9217391304347826,,,,,,,,,,,,,,,,,0.894145180872228 shisa-chotto-lfm2-enjp-mt-350m-sft,1,,3.95768115942029,3.78,3.8333333333333335,4.6,3.617391304347826,,,,,,,,,,,3.95768115942029,3.78,3.8333333333333335,4.6,3.617391304347826,,,,,,,,,,,,,,,,,0.8762279171964693 tiiuae/Falcon3-10B-Instruct,4,4.075064980353902,3.9275285947712417,4.75,4.0375,2.3866666666666667,4.5359477124183005,3.3555797101449274,4.06,3.6666666666666665,2.0,3.6956521739130435,3.32375,4.72,2.95,1.625,4.0,,,,,,,,,,,4.4806884057971015,4.28,5.083333333333333,3.3333333333333335,5.226086956521739,4.536463210702341,5.94,4.45,2.5384615384615383,5.217391304347826,0.22604437167473557,0.8376113648676198 allenai/Olmo-3-7B-Instruct,2,3.5211096014492753,3.8978894927536234,5.12,3.8916666666666666,2.4625,4.1173913043478265,,,,,,,,,,,4.651449275362319,5.7,4.916666666666667,3.05,4.939130434782609,3.1443297101449277,4.54,2.8666666666666667,1.875,3.2956521739130435,,,,,,,,,,,,0.8336757620521297 shisa-v2.1c-lfm2-350m-sft3-tlonly,1,,3.879782608695652,3.78,3.7,4.5,3.5391304347826087,,,,,,,,,,,3.879782608695652,3.78,3.7,4.5,3.5391304347826087,,,,,,,,,,,,,,,,,0.8892610646847184 shisa-v2.1c-lfm2-350m-dpo,1,,3.855326086956522,3.58,3.7,4.75,3.391304347826087,,,,,,,,,,,3.855326086956522,3.58,3.7,4.75,3.391304347826087,,,,,,,,,,,,,,,,,0.8821319516236165 augmxnt/shisa-7b-v1,6,3.717639732677687,3.7431117709899437,4.050167224080267,3.3258426966292136,3.1232876712328768,4.473149492017416,3.38875,3.78,3.0833333333333335,2.2916666666666665,4.4,4.5192658853986085,4.626262626262626,3.9473684210526314,4.894736842105263,4.608695652173913,3.0522101449275363,4.04,2.6166666666666667,1.9,3.652173913043478,2.8980434782608695,3.54,2.45,2.35,3.252173913043478,4.056138492417484,3.5,3.76271186440678,3.725,5.2368421052631575,4.502154921720139,4.828282828282828,4.133333333333334,3.3513513513513513,5.695652173913044,-0.17737972782502404,0.864096038205209 shisa-v2.1c-lfm2-350m-sft2,1,,3.735199275362319,3.76,3.466666666666667,4.175,3.5391304347826087,,,,,,,,,,,3.735199275362319,3.76,3.466666666666667,4.175,3.5391304347826087,,,,,,,,,,,,,,,,,0.8788233187614884 shisa-ai/shisa-v2.1c2-phi4-mini-3.8b-sft,1,3.640742753623188,3.640742753623188,3.78,3.1666666666666665,3.225,4.391304347826087,,,,,,,,,,,,,,,,3.640742753623188,3.78,3.1666666666666665,3.225,4.391304347826087,,,,,,,,,,,,0.7349190404621935 openbmb/MiniCPM4.1-8B,1,3.610344202898551,3.610344202898551,5.72,2.933333333333333,2.275,3.5130434782608697,,,,,,,,,,,,,,,,3.610344202898551,5.72,2.933333333333333,2.275,3.5130434782608697,,,,,,,,,,,,0.753095470148125 011-qwen3-8b-v2-sft,1,,3.6012529275687175,5.898989898989899,3.543859649122807,2.1621621621621623,2.8,,,,,,,,,,,3.6012529275687175,5.898989898989899,3.543859649122807,2.1621621621621623,2.8,,,,,,,,,,,,,,,,,0.33591392294738465 shisa-v2.1c-lfm2-350m-dpo2,1,,3.5967753623188408,3.64,3.4166666666666665,4.0,3.3304347826086955,,,,,,,,,,,3.5967753623188408,3.64,3.4166666666666665,4.0,3.3304347826086955,,,,,,,,,,,,,,,,,0.8820534658017116 shisa-ai/shisa-v2.1c-lfm2-350m,1,3.453242753623188,3.453242753623188,3.88,3.2666666666666666,3.475,3.1913043478260867,,,,,,,,,,,,,,,,3.453242753623188,3.88,3.2666666666666666,3.475,3.1913043478260867,,,,,,,,,,,,0.8692952829310683 shisa-v2.1c-lfm2-350m-sft,1,,3.4399275362318837,3.38,3.4166666666666665,3.85,3.1130434782608694,,,,,,,,,,,3.4399275362318837,3.38,3.4166666666666665,3.85,3.1130434782608694,,,,,,,,,,,,,,,,,0.8716999796927326 LiquidAI/LFM2-350M,2,2.969018559616182,3.2358862349287536,3.71,3.3949579831932772,3.0125,2.8260869565217392,,,,,,,,,,,3.7667753623188402,3.92,4.066666666666666,3.55,3.5304347826086957,2.702150884303611,3.5,2.711864406779661,2.475,2.121739130434783,,,,,,,,,,,,0.8933311032519994 meta-llama/Llama-3.2-1B-Instruct,2,2.5303894927536232,2.692065217391304,3.64,2.475,2.175,2.4782608695652173,,,,,,,,,,,3.015416666666667,3.92,2.9166666666666665,2.425,2.8,2.368713768115942,3.36,2.033333333333333,1.925,2.1565217391304348,,,,,,,,,,,,0.8749458754932056 114-granite4-350m-v2.1-sft,1,,2.640036231884058,3.4,2.716666666666667,2.0,2.4434782608695653,,,,,,,,,,,2.640036231884058,3.4,2.716666666666667,2.0,2.4434782608695653,,,,,,,,,,,,,,,,,0.8428730612669452 Nanbeige/Nanbeige4-3B-Thinking-2511,1,2.5877367354458367,2.5877367354458367,3.98,2.3220338983050848,2.075,1.9739130434782608,,,,,,,,,,,,,,,,2.5877367354458367,3.98,2.3220338983050848,2.075,1.9739130434782608,,,,,,,,,,,,0.6193689583318857 google/gemma-3-270m-it,1,,2.526376811594203,3.42,2.3333333333333335,2.1,2.252173913043478,,,,,,,,,,,2.526376811594203,3.42,2.3333333333333335,2.1,2.252173913043478,,,,,,,,,,,,,,,,,0.883223883037361 mistralai/Mistral-7B-Instruct-v0.1,2,2.397327898550725,2.503804347826087,3.5,2.5,1.65,2.365217391304348,,,,,,,,,,,2.7167572463768117,3.7,2.8333333333333335,1.725,2.608695652173913,2.2908514492753627,3.3,2.1666666666666665,1.575,2.121739130434783,,,,,,,,,,,,0.8361606920259023 Nanbeige/Nanbeige4.1-3B,1,2.048514492753623,2.048514492753623,3.56,1.7166666666666666,1.7,1.2173913043478262,,,,,,,,,,,,,,,,2.048514492753623,3.56,1.7166666666666666,1.7,1.2173913043478262,,,,,,,,,,,,0.5035350290009365 LiquidAI/LFM2-350M-ENJP-MT,1,,1.706231884057971,2.98,1.3666666666666667,1.0,1.4782608695652173,,,,,,,,,,,1.706231884057971,2.98,1.3666666666666667,1.0,1.4782608695652173,,,,,,,,,,,,,,,,,0.052607724091001666 nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-nothink,1,1.4089492753623187,1.4089492753623187,3.48,1.0166666666666666,1.0,0.1391304347826087,,,,,,,,,,,,,,,,1.4089492753623187,3.48,1.0166666666666666,1.0,0.1391304347826087,,,,,,,,,,,,0.0053865153754058225 sbintuitions/sarashina2.2-3b,1,,1.3455615942028984,2.3,1.0833333333333333,1.625,0.3739130434782609,,,,,,,,,,,1.3455615942028984,2.3,1.0833333333333333,1.625,0.3739130434782609,,,,,,,,,,,,,,,,,0.14892804355299435 Qwen/Qwen3.5-35B-A3B,1,1.3447826086956522,1.3447826086956522,2.04,1.0,1.0,1.3391304347826087,,,,,,,,,,,,,,,,1.3447826086956522,2.04,1.0,1.0,1.3391304347826087,,,,,,,,,,,,0.15419544144987743 weblab-GENIAC/Tanuki-8x8B-dpo-v1.0,4,1.3984608621876846,1.3305825791855204,2.035,1.0,1.0,1.2873303167420815,1.0804347826086957,2.0,1.0,1.0,0.3217391304347826,1.0103092783505154,2.0,1.0,1.0,0.041237113402061855,,,,,,,,,,,1.7021739130434783,2.0,1.0,1.0,2.8086956521739133,1.4806521739130436,2.14,1.0,1.0,1.7826086956521738,0.38419085338985115,0.40158689679437104 tiiuae/Falcon-H1-0.5B-Instruct,1,,1.3031884057971013,2.32,1.4666666666666666,1.0,0.4260869565217391,,,,,,,,,,,1.3031884057971013,2.32,1.4666666666666666,1.0,0.4260869565217391,,,,,,,,,,,,,,,,,0.7037219849387247 llm-jp/llm-jp-4-32b-a3b-thinking,1,1.0578260869565217,1.0578260869565217,2.04,1.0,1.0,0.19130434782608696,,,,,,,,,,,,,,,,1.0578260869565217,2.04,1.0,1.0,0.19130434782608696,,,,,,,,,,,,0.09090909090909105 Qwen/Qwen3.5-27B,1,1.0578260869565217,1.0578260869565217,2.04,1.0,1.0,0.19130434782608696,,,,,,,,,,,,,,,,1.0578260869565217,2.04,1.0,1.0,0.19130434782608696,,,,,,,,,,,,0.09090909090909105 google/translategemma-12b-it,1,1.0528260869565216,1.0528260869565216,2.02,1.0,1.0,0.19130434782608696,,,,,,,,,,,,,,,,1.0528260869565216,2.02,1.0,1.0,0.19130434782608696,,,,,,,,,,,,0.09090909090909105 shisa-ai/196-ministral3-3b-v2.1-sft,1,1.041521739130435,1.041521739130435,2.14,1.0,1.0,0.02608695652173913,,,,,,,,,,,,,,,,1.041521739130435,2.14,1.0,1.0,0.02608695652173913,,,,,,,,,,,,0.8178660286898566 Qwen/Qwen3.5-9B,1,1.0391304347826087,1.0391304347826087,2.0,1.0,1.0,0.1565217391304348,,,,,,,,,,,,,,,,1.0391304347826087,2.0,1.0,1.0,0.1565217391304348,,,,,,,,,,,,0.12753372973643326 166-qwen3-30b-a3b-v2.1-dpo-1.2e7-w4a16-spinquantR1R2-gptq,1,1.037391304347826,1.037391304347826,2.08,1.0,1.0,0.06956521739130435,,,,,,,,,,,,,,,,1.037391304347826,2.08,1.0,1.0,0.06956521739130435,,,,,,,,,,,,0.11850960035591813