from pathlib import Path import json,statistics,hashlib import numpy as np from scipy import stats R=Path(__file__).resolve().parent out=[];errors={} for p in sorted(R.glob('error-*.json')): for e in json.loads(p.read_text()):errors.setdefault(e['variant'],[]).append(e) for p in sorted(R.glob('screen-*.json')): if p.name.endswith('-plan.json'):continue rows=json.loads(p.read_text()) for name,mode in sorted({(x['variant'],x['mode']) for x in rows}): a=[];b=[] for block in range(10): pair=[x for x in rows if (x['variant'],x['mode'],x['block'])==(name,mode,block)] assert len(pair)==2 a.append(next(x['ns'] for x in pair if x['side']=='before')) b.append(next(x['ns'] for x in pair if x['side']=='after')) a=np.array(a);b=np.array(b);d=b-a t=stats.ttest_rel(b,a);ci=t.confidence_interval() out.append(dict(variant=name,mode=mode,unit='ns/update' if mode=='parameters' else 'ns/stereo-frame',blocks=10,raw=p.name,before_mean_ns=float(a.mean()),after_mean_ns=float(b.mean()),before_sd_ns=float(a.std(ddof=1)),after_sd_ns=float(b.std(ddof=1)),delta_ns=float(d.mean()),delta_ci95=[float(ci.low),float(ci.high)],percent=float(100*(b.mean()/a.mean()-1)),t=float(t.statistic),p=float(t.pvalue),shapiro_p=float(stats.shapiro(d).pvalue))) audit={row['raw']:row for row in json.loads((R/'protocol-audit.json').read_text())} for row in out:row['protocol_eligible']=audit[row['raw']]['protocol_eligible'] diagnostics=[row for row in out if not row['protocol_eligible']] out=[row for row in out if row['protocol_eligible']] ordered=sorted(range(len(out)),key=lambda i:out[i]['p']);prior=0 for rank,i in enumerate(ordered):prior=max(prior,min(1,(len(out)-rank)*out[i]['p']));out[i]['holm_p']=prior summary={name:dict(cases=len(es),relative_rms_db=max(e['relative_rms_db'] for e in es),tail_relative_rms_db=max(e['tail_relative_rms_db'] for e in es),maximum_absolute=max(e['max_absolute'] for e in es),nonfinite=sum(e['nonfinite'] for e in es)) for name,es in errors.items()} (R/'comparison-summary.json').write_text(json.dumps(dict(performance=out,historical_diagnostics=diagnostics,error=summary),indent=2)) lines=['# Reverb / EQ 最適化候補の探索比較','','比較基点はReverb `9d68a552eb56928dc6533c0db68ff21ca866c54d`、EQ `5c754c2cc5f7cd92f368cb7aa4f2e5b14032e60d`。各候補は基点から独立に比較した。','','## 計測条件','','48 kHz、4秒相当のステレオ音声を生成する区間を計時。設定・入力生成を計時外へ置き、各実行で最低1周と実時間200 msのburn-inを行う。10ブロックごとに全条件・変更前後をseed `2026110710`でシャッフルし、ブロック間は5秒待機する。最初の `screen-reverb-exp-...` の18比較だけは2秒で最低3秒に達していないため、下の採否用統計から除き、末尾の診断記録へ分離した。同じ初期5候補・binaryを10ブロック・200 ms以上のburn-in・5秒クールタイムで再測定し、新しい18比較を採否用統計へ加えた。旧記録を新しい測定で上書きしない。全測定は同じ共通ロックを取得しCPU 10に固定。コンポーネント単体の探索値であり、正式な採否は同一条件の全音源比較で決める。','','各行の95%CIはブロック対応差のpointwise区間。Holm補正はこの表の全比較を同族として算出。途中版の選択に使用した探索結果であり、確認試験の有意性とは区別する。','','|候補|条件|単位|変更前|変更後|差 %|対応差 [95%CI]|Holm p|','|---|---|---|---:|---:|---:|---:|---:|'] for x in out:lines.append(f"|{x['variant']}|{x['mode']}|{x['unit']}|{x['before_mean_ns']:.3f}|{x['after_mean_ns']:.3f}|{x['percent']:+.2f}|{x['delta_ns']:+.3f} [{x['delta_ci95'][0]:+.3f}, {x['delta_ci95'][1]:+.3f}]|{x['holm_p']:.4g}|") lines+=['','## 規定未達の初期診断','','以下の18比較は10ブロック・200 ms burn-inだが、クールタイムが2秒だった。生値は保持し、採用・棄却の統計的根拠には使用しない。同じ初期5候補の適合した再測定は `screen-repeat-*.json` に保持し、上の採否用統計へ加えた。後続バッチと正式全体比較も統合候補を評価する。','','|候補|条件|変更前 ns/frame|変更後 ns/frame|','|---|---|---:|---:|'] for x in diagnostics:lines.append(f"|{x['variant']}|{x['mode']}|{x['before_mean_ns']:.3f}|{x['after_mean_ns']:.3f}|") lines+=['','## 音声誤差','','44.1/48/96/192 kHz、固定・無効・無音・切替・パラメータ急変・連続変化・30秒尾部を比較。通常区間は4秒。相対値は誤差RMS / 参照RMS、tailは入力終了後。`exact` は差が0。','','|候補|条件数|最悪RMS比 dB|最悪tail RMS比 dB|最大絶対誤差|非有限出力|','|---|---:|---:|---:|---:|---:|'] def db(x):return 'exact' if x==-999 else f'{x:.2f}' for name,x in sorted(summary.items()):lines.append(f"|{name}|{x['cases']}|{db(x['relative_rms_db'])}|{db(x['tail_relative_rms_db'])}|{x['maximum_absolute']:.6g}|{x['nonfinite']}|") lines+=['','FDN内部f32では極小の尾部が丸めとflush-to-zeroの床へ達し、f64の減衰との差が拡大する。225条件の12秒試験では通常の全区間の最悪RMS比は−124.17 dB、tailは−121.83 dBだった。各条件で相対誤差が最大の一秒窓のうち、−80 dBを超えた窓の参照RMSは最大6.95e−42(約−823 dBFS)だった。無音を分母にした誤差率として解釈せず、窓ごとの参照RMSもCSVに保存する。','','追加のT60=10秒・120秒尾部27条件では、全3240個の一秒窓も保存した。−80 dBを超えた窓は304個あり、その中で最も大きい参照RMSは3.52e−28(−549.07 dBFS)。全区間では最悪−124.19 dB、tailでは−122.24 dB、最大絶対誤差6.95e−7。`long-tail-windows.csv` と `long-tail-window-summary.json` を参照。','','`ring-boundary.json` は最大遅延がリング容量と一致する4境界、Size切替、prepare失敗後の1,597,440フレームを同じ係数の独立リングと比較しビット一致した結果。共通リングは8本のcursorとwarmupを1つずつへ集約し、遅延長を変えずに2の冪maskで参照する。','','全raw値は `screen-*.json`、計測前の順序・binary SHAは `screen-*-plan.json`、音声の個別条件は `error-*.json`。各buildディレクトリに計測binaryと対応する固定sourceを保持。'] (R/'README.md').write_text('\n'.join(lines)+'\n') print('comparisons',len(out),'audio variants',len(summary))