#!/usr/bin/env python3 # Copyright (C) 2026 Yusuke Oda # SPDX-License-Identifier: AGPL-3.0-only from pathlib import Path import hashlib,json,os ROOT=Path(__file__).resolve().parent;STUDY=ROOT.parent;OUT=ROOT/'results'/'confirmation';OUT.mkdir(exist_ok=True);os.environ.setdefault('MPLCONFIGDIR',str(ROOT/'results'/'mplconfig')) import numpy as np import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as plt FAMILIES=['DX01','DX03','DX04','DX05','DX06','DX07'];registry=json.loads((STUDY/'common/confirmation/registration.json').read_text());records=[] for name in FAMILIES: path=STUDY/f'common/confirmation/{name}-performance.json' if not path.exists():continue after=json.loads(path.read_text()) if after['status']!='complete':continue before=json.loads((STUDY/registry['families'][name]['original_result']).read_text());a=before['analysis'];b=after['analysis'];assert before['binary_sha256']==after['binary_sha256'];assert before['plan']['comparisons']==after['plan']['comparisons'];pairs=[] for old,new in zip(a['comparisons'],b['comparisons']): assert(old['reference'],old['candidate'])==(new['reference'],new['candidate']) pairs.append({'reference':old['reference'],'candidate':old['candidate'],'exploration':old,'confirmation':new,'direction_changed':bool(np.sign(old['difference']['mean'])!=np.sign(new['difference']['mean'])),'significance_changed':bool((old['p_holm']is not None and old['p_holm']<.05)!=(new['p_holm']is not None and new['p_holm']<.05))}) records.append({'family':name,'jobs':len(after['plan']['jobs']),'blocks':len(after['blocks']),'seed':after['plan']['seed'],'comparisons':pairs,'exploration_summaries':a['summaries'],'confirmation_summaries':b['summaries'],'confirmation_sha256':hashlib.sha256(path.read_bytes()).hexdigest()}) columns=1 if len(records)<=1 else 2 if len(records)<=4 else 3;rows=(max(1,len(records))+columns-1)//columns fig,axes=plt.subplots(rows,columns,figsize=(6.5*columns,5.5*rows),layout='constrained',squeeze=False) for ax,name in zip(axes.flat,[r['family']for r in records]): record=next((r for r in records if r['family']==name),None) if record is None:ax.axis('off');continue x=np.array([(c['exploration']['mean_ratio']-1)*100 for c in record['comparisons']]);y=np.array([(c['confirmation']['mean_ratio']-1)*100 for c in record['comparisons']]);changed=np.array([c['significance_changed']for c in record['comparisons']]);lo=min(x.min(),y.min(),0);hi=max(x.max(),y.max(),0);pad=max((hi-lo)*.08,.2) ax.plot([lo-pad,hi+pad],[lo-pad,hi+pad],':',color='gray');ax.scatter(x[~changed],y[~changed],s=25,color='#347ba0',label='Same significance classification') if changed.any():ax.scatter(x[changed],y[changed],s=45,marker='s',color='#b35a31',label='Holm classification changed') ax.set(title=name,xlabel='Exploration: candidate / reference − 1 (%)',ylabel='3 s burn-in: candidate / reference − 1 (%)',xlim=(lo-pad,hi+pad),ylim=(lo-pad,hi+pad));ax.grid(alpha=.2) if changed.any():ax.legend(fontsize=7) for ax in list(axes.flat)[len(records):]:ax.axis('off') fig.suptitle('Each point is one predeclared within-block method comparison\nSeparate experiments; values are not pooled');fig.savefig(OUT/'effect-replication.png',dpi=150);plt.close(fig) result={'planned_families':FAMILIES,'completed_families':[r['family']for r in records],'families':records,'interpretation':'Each experiment uses its own randomized blocks and within-family Holm correction. Across-experiment mean ratios are displayed descriptively, not treated as paired timings or pooled observations.'};(OUT/'comparison-summary.json').write_text(json.dumps(result,indent=2)+'\n') lines=['# Dynamics: 3秒burn-inによる確認測定','','[調査索引](https://github.com/predicatejp/integral-vsti/wiki/Effects-2026-11-05) / [Compressor](https://github.com/predicatejp/integral-vsti/wiki/Effects-Compressor-2026-11-05) / [Limiter](https://github.com/predicatejp/integral-vsti/wiki/Effects-Limiter-2026-11-05)','','初回探索の10ms以上のburn-inを、実時間3秒以上へ延ばした別の確認実験で比較した。方式・入力・設定・比較組・実行ファイルを固定し、順序だけ新しいseedで無作為化した。初回と確認を混ぜて平均せず、各実験の対応差と検定を別々に保存する。実施時刻も異なるため、両実験の平均値の変化をburn-in時間だけの因果効果とは扱わない。','','## 事前登録','','DynamicsではDX01/03/04/05/06/07の6族を、結果を見て追加・除外しない方針で登録した。DX02のInput Gainの異なる条件は、設定を揃えたDX07へ置き換えている。全体の[固定登録](../../../common/confirmation/registration.json)と[共通規約](../../../common/PROTOCOL.md)に条件を保存した。','','各族10block、block間5秒、CPU0、準備2秒+測定4秒分、caseごとのburn-in3秒以上かつ1周以上。全caseをblock内でshuffleし、block対応の両側t検定と、登録比較族内のHolm補正を使う。','','現在掲載する完了族: '+', '.join(result['completed_families'])+'。','','## 初回との対応','','![比較効果量の対応](../../results/confirmation/effect-replication.png)','','各点は同じ族の1つの登録比較で、横軸は初回、縦軸は3秒確認のcandidate/reference平均比。対角線に近いほど観測した効果量が近い。これは異なる実験の要約値を図示したもので、初回と確認の各試行を新たなペアとして検定した図ではない。','','| 族 | 条件数 | 比較数 | seed | 初回Holm有意 | 確認Holm有意 | 判定が変化 | 平均差の符号が変化 |','|---|---:|---:|---:|---:|---:|---:|---:|'] for r in records: def significant(side):return sum(c[side]['p_holm']is not None and c[side]['p_holm']<.05 for c in r['comparisons']) lines.append(f"| {r['family']} | {r['jobs']} | {len(r['comparisons'])} | {r['seed']} | {significant('exploration')} | {significant('confirmation')} | {sum(c['significance_changed']for c in r['comparisons'])} | {sum(c['direction_changed']for c in r['comparisons'])} |") lines+=['','「有意」は短縮・増加の両方を含む。判定の変化がなくても効果量が完全に一致するという意味ではない。差を検出しないことも同等性の証明とはしない。95%CIは個別比較の区間で、Holm補正した同時信頼区間ではない。検定の標本は各族10個のブロック内対応差とする。','','## 変化した比較','','| 族・比較 | 初回差 ns/frame | 確認差 ns/frame | 確認差95%CI | 初回Holm p | 確認Holm p |','|---|---:|---:|---|---:|---:|'] changed=[] for r in records: for c in r['comparisons']: if not(c['significance_changed']or c['direction_changed']):continue a,b=c['exploration'],c['confirmation'];ci=b['ci95'];changed.append(c);lines.append(f"| {r['family']} {c['reference']} → {c['candidate']} | {a['difference']['mean']:+.6f} | {b['difference']['mean']:+.6f} | [{ci[0]:+.6f}, {ci[1]:+.6f}] | {a['p_holm']:.5g} | {b['p_holm']:.5g} |") if not changed:lines.append('| 掲載した比較では判定・平均差符号の変化なし | — | — | — | — | — |') if any(r['family']=='DX04'for r in records): lines+=['','DX04ではIIR RMSのDrumsで、検出後Maxの追加費用が確認実験で有意となった。Padでは平均差の符号が変わったが、初回・確認ともHolm補正後に差を検出しておらず、速度順位の逆転を示す結果とは扱わない。'] if any(r['family']=='DX05'for r in records): lines+=['','DX05で判定が変化した9比較は、初回・確認の平均差がいずれも正である。約0.15〜0.22 ns/frameの小さい追加費用では、ばらつきと多重比較補正により検出の有無が変わった。初回のInverse Triangle・1ms・Bassにあった大きい1試行も含め、各実験で固定した全10試行を保持する。平均差が小さくなり有意になった比較もあり、p値の変化を効果量の増大や速度の逆転とは読み替えない。'] if any(r['family']=='DX06'for r in records): r=next(r for r in records if r['family']=='DX06') comp=[100*(1-c['confirmation']['mean_ratio'])for c in r['comparisons']if c['reference'].startswith('f64.')and c['candidate'].startswith('f32.')and any(name in c['reference']for name in ['decoupled','rmsafter'])] mixed=[100*(1-c['confirmation']['mean_ratio'])for c in r['comparisons']if c['reference'].startswith('f64.')and c['candidate'].startswith('mixed.')] lines+=['',f'DX06ではCompressorのf32化が{min(comp):.2f}〜{max(comp):.2f}%、Limiterの移動和だけf64にするmixedがf64比{min(mixed):.2f}〜{max(mixed):.2f}%短縮し、該当する全比較でHolm補正後も差を検出した。全f32 Limiterの速度差と、10分の音声試験で生じた移動和の累積誤差は別の判断材料とし、[精度・出力バッファ比較](https://github.com/predicatejp/integral-vsti/wiki/Effects-Dynamics-Precision-Buffer-2026-11-05)へ記録している。', '','DX06の分類変化9件は出力領域再利用とブロック長の比較に集中した。f64のInverse Boxでfull→reuse256の平均差が初回+0.027 ns/frame(Holm p=0.618)から確認−0.143 ns/frame(p=0.0340)へ変わったが、初回には差を検出していないため、確立した速度順位が逆転したとは扱わない。他の分類変化は平均差の符号を維持した小差であり、出力再利用が全方式で一律に高速になる結果でもない。'] if any(r['family']=='DX07'for r in records): r=next(r for r in records if r['family']=='DX07');ratios=[c['confirmation']['mean_ratio']for c in r['comparisons']] lines+=['',f'DX07は両方式のInput Gainを+6 dBへ揃えた比較で、6比較すべて初回と同方向かつHolm有意だった。ITUの4倍補間検出を使うLimiterはsample peak方式の{min(ratios):.3f}〜{max(ratios):.3f}倍のCPU時間となった。これはこの入力群・設定・実装の比較であり、検出精度と追加6サンプル遅延の音響上の違いを[同条件比較](https://github.com/predicatejp/integral-vsti/wiki/Effects-Limiter-TruePeak-Matched-2026-11-05)と併せて判断する。'] lines+=['','## 再現資料','','[初回・確認の全統計を対応付けたJSON](../../results/confirmation/comparison-summary.json)、[図と本文の生成](../../confirmation_summary.py)、[完了後監査コード](../../../common/audit_confirmations.py)。',''] for r in records: label=r['family'];original=registry['families'][label]['original_result'];lines.append(f'- {label}: [3秒確認の全試行](../../../common/confirmation/{label}-performance.json)、[事前plan](../../../common/confirmation/{label}-plan.json)、[初回結果](../../../{original})') (ROOT/'manuscripts'/'compressor'/'Confirmation.md').write_text('\n'.join(lines)+'\n');print(json.dumps({'completed':result['completed_families'],'comparisons':sum(len(r['comparisons'])for r in records)}))