# 集計

## 検証2 対戦結果

勝率は全試合に対する割合（95% Wilson信頼区間）。p値は引き分けを除いた勝ち数の両側二項検定（勝ち数が五分か）。

| 対戦 (A vs B) | 試合 | A勝ち | B勝ち | 引き分け | Aの勝率 | p値 | 平均ターン | 終了理由 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| jev vs decisions | 100 | 8 | 82 | 10 | 8/100 = 8.0%（4.1〜15.0） | 1.4e-16 | 21.3 | ko 100 |
| jev vs rule | 50 | 0 | 50 | 0 | 0/50 = 0.0%（0.0〜7.1） | 1.8e-15 | 25.5 | ko 49, timeout 1 |
| decisions vs rule | 50 | 1 | 46 | 3 | 1/50 = 2.0%（0.4〜10.5） | 6.8e-13 | 14.0 | ko 50 |
| jev vs random | 20 | 19 | 1 | 0 | 19/20 = 95.0%（76.4〜99.1） | 4.0e-05 | 10.0 | flee 12, ko 8 |
| decisions vs random | 20 | 19 | 0 | 1 | 19/20 = 95.0%（76.4〜99.1） | 3.8e-06 | 8.8 | flee 13, ko 7 |

### 行動の内訳（自分で選んだ行動のみ。全対戦の合計）

| 行動 | jev | decisions | rule | random |
| --- | --- | --- | --- | --- |
| attack | 13.4% | 82.8% | 73.1% | 27.2% |
| power_attack | 9.9% | 0.7% | 18.2% | 18.8% |
| defend | 67.7% | 7.3% | 4.1% | 19.1% |
| potion | 9.0% | 9.2% | 4.7% | 15.9% |
| flee | 0.0% | 0.0% | 0.0% | 19.1% |
| （選択回数） | 3336 | 2989 | 1674 | 320 |

### 対戦相手別の行動内訳（APIのみ）

| NPC | 相手 | attack | power_attack | defend | potion | flee |
| --- | --- | --- | --- | --- | --- | --- |
| jev | decisions | 14.5% | 10.6% | 64.9% | 9.9% | 0.0% |
| jev | rule | 7.9% | 8.1% | 75.7% | 8.3% | 0.0% |
| jev | random | 38.9% | 14.3% | 44.0% | 2.9% | 0.0% |
| decisions | jev | 88.7% | 0.8% | 3.4% | 7.2% | 0.0% |
| decisions | rule | 66.4% | 0.3% | 19.0% | 14.3% | 0.0% |
| decisions | random | 76.2% | 1.7% | 8.1% | 14.0% | 0.0% |

### 相手が溜め中のときに防御した率

- jev: 197/201 = 98.0%（95.0〜99.2）
- decisions: 144/340 = 42.4%（37.2〜47.7）
- rule: 68/68 = 100.0%（94.7〜100.0）
- random: 4/22 = 18.2%（7.3〜38.5）

- 対戦中の refusal（ランダム行動で代替）: 0

## 検証1 正答率と比較基準（正解あり100局面）

括弧内は95% Wilson信頼区間。APIは100局面 × 5順序 = 500回、比較基準は順番に依存しないので100局面。

| 方法 | 正答率 |
| --- | --- |
| jev | 255/500 = 51.0%（46.6〜55.4） |
| decisions | 297/500 = 59.4%（55.0〜63.6） |
| Rule NPC（if文） | 76/100 = 76.0%（66.8〜83.3） |
| ランダムに選んだ場合の期待値 | 24.9% |
| 常に attack | 22/100 = 22.0%（15.0〜31.1） |

### 正解行動別の正答率

| 正解 | 局面 | jev | decisions | Rule | 常にattack |
| --- | --- | --- | --- | --- | --- |
| attack | 22 | 92/110 = 83.6%（75.6〜89.4） | 98/110 = 89.1%（81.9〜93.6） | 21/22 | 22/22 |
| power_attack | 7 | 7/35 = 20.0%（10.0〜35.9） | 0/35 = 0.0%（0.0〜9.9） | 1/7 | 0/7 |
| defend | 31 | 108/155 = 69.7%（62.0〜76.4） | 41/155 = 26.5%（20.1〜33.9） | 31/31 | 0/31 |
| potion | 40 | 48/200 = 24.0%（18.6〜30.4） | 158/200 = 79.0%（72.8〜84.1） | 23/40 | 0/40 |

### Jev vs Decisions の正答率の差（McNemar検定、同じ局面・同じ順番の対応あり）

- 両方正解 160 / Jevだけ正解 95 / Decisionsだけ正解 137 / 両方不正解 108（計 500）
- 正確McNemar検定 p = 0.007
- 参考：同じ局面の5回は互いに独立ではないため、局面単位の多数決でも比べる：
  - 5回中3回以上正解の局面: jev 47 / decisions 62（Jevだけ 17、Decisionsだけ 32、McNemar p = 0.044）

### 拮抗30局面での選択（参考）

| 行動 | Rule NPC（局面数） | jev（150回） | decisions（150回） |
| --- | --- | --- | --- |
| attack | 23 | 38.7% | 22.7% |
| power_attack | 5 | 24.0% | 2.0% |
| defend | 1 | 24.7% | 0.0% |
| potion | 1 | 12.7% | 75.3% |
| flee | 0 | 0.0% | 0.0% |

- Rule NPCと同じ行動を選んだ割合: jev 67/150 = 44.7%（36.9〜52.7）, decisions 37/150 = 24.7%（18.5〜32.1）

## 自信の正直さ：選んだ行動の probability（正解あり500回）

「その行動に付けた確率」で区切り、実際に正解だった割合と比べる。確率と正答率が近いほど較正が良い。

| 選んだ行動の probability | jev 件数 | jev 平均確率 | jev 正答率 | decisions 件数 | decisions 平均確率 | decisions 正答率 |
| --- | --- | --- | --- | --- | --- | --- |
| 0.0〜0.2 | 0 | — | — | 0 | — | — |
| 0.2〜0.4 | 101 | 0.35 | 25.7% | 4 | 0.36 | 50.0% |
| 0.4〜0.6 | 269 | 0.49 | 47.2% | 111 | 0.52 | 49.5% |
| 0.6〜0.8 | 118 | 0.68 | 76.3% | 157 | 0.69 | 52.2% |
| 0.8〜1.0 | 12 | 0.85 | 100.0% | 228 | 0.91 | 69.3% |

| | jev | decisions |
| --- | --- | --- |
| ECE（5区間） | 0.048 | 0.161 |
| ECE（10区間） | 0.053 | 0.161 |
| 平均確率 | 0.514 | 0.753 |
| 正答率 | 0.510 | 0.594 |
| 選んだ行動が確率最大だった割合 | 99.2% | 100.0% |

## 先頭の選択肢に寄るか（局面をそろえた比較、全130局面）

同じ局面の5通りの順番のうち、ある行動が1番目に置かれた回と、それ以外の位置の回の両方がある（局面, 行動）の組について、選ばれた割合の差（1番目 − それ以外）を平均した。95%区間は局面単位のブートストラップ（5,000回）。

| API | 組の数 | 1番目のとき | それ以外のとき | 差の平均 | 95%区間 |
| --- | --- | --- | --- | --- | --- |
| jev | 419 | 21.0% | 24.3% | -3.3pt | -6.4〜-0.4pt |
| decisions | 419 | 28.7% | 21.8% | +6.9pt | +4.4〜+9.6pt |

## 検証3 速度（ウォームアップ・リトライ発生分を除く）

| API | 区分 | n | p50 (ms) | p95 (ms) | 最大 (ms) |
| --- | --- | --- | --- | --- | --- |
| jev | 全呼び出し | 3961 | 168 | 213 | 496 |
| jev | 逐次（検証1・最初の10試合） | 846 | 168 | 214 | 472 |
| jev | 並列8試合（残りの対戦） | 3115 | 168 | 213 | 496 |
| decisions | 全呼び出し | 3614 | 199 | 284 | 765 |
| decisions | 逐次（検証1・最初の10試合） | 862 | 203 | 297 | 607 |
| decisions | 並列8試合（残りの対戦） | 2752 | 198 | 281 | 765 |

## 検証3 コスト（全呼び出し。#1の疎通確認を含む）

| API | 呼び出し | 平均入力トークン | 合計入力トークン | 費用 (USD) | 1,000回あたり (USD) | リトライ |
| --- | --- | --- | --- | --- | --- | --- |
| jev | 3989 | 468.4 | 1868504 | 0.0785 | 0.0197 | 0 |
| decisions | 3642 | 251.6 | 916449 | 0.0916 | 0.0252 | 0 |

- 検証全体の総費用: **$0.1701**
- エラーで失敗した呼び出し: 0

## 記事に使えそうな試合の候補（自動抽出）

| match_id | 勝者 | 理由 |
| --- | --- | --- |
| jev_vs_decisions_s30 | jev | 勝者のHPが最低8まで減ってから勝利、最大でHP差66をつけられてから逆転（ターン12）、終盤ターン14で confidence 0.20 の迷いながら power_attack |
| jev_vs_decisions_s00 | jev | 勝者のHPが最低12まで減ってから勝利、最大でHP差48をつけられてから逆転（ターン11）、終盤ターン14で confidence 0.21 の迷いながら potion |
| jev_vs_random_s02_swap | jev | 最大でHP差58をつけられてから逆転（ターン15）、終盤ターン15で confidence 0.24 の迷いながら potion |
| jev_vs_random_s02 | jev | 最大でHP差50をつけられてから逆転（ターン9）、終盤ターン13で confidence 0.19 の迷いながら power_attack |
| jev_vs_decisions_s25_swap | jev | 最大でHP差45をつけられてから逆転（ターン7）、終盤ターン16で confidence 0.16 の迷いながら power_attack |
| jev_vs_decisions_s36_swap | jev | 最大でHP差44をつけられてから逆転（ターン5）、終盤ターン14で confidence 0.10 の迷いながら power_attack |
| jev_vs_random_s04_swap | jev | 勝者のHPが最低10まで減ってから勝利、終盤ターン9で confidence 0.15 の迷いながら defend |
| jev_vs_random_s01 | jev | 勝者のHPが最低11まで減ってから勝利、終盤ターン11で confidence 0.10 の迷いながら potion |
| jev_vs_random_s06_swap | jev | 勝者のHPが最低19まで減ってから勝利、終盤ターン16で confidence 0.29 の迷いながら attack |
| jev_vs_decisions_s17 | jev | 最大でHP差43をつけられてから逆転（ターン5） |