# 仪器标定:预登记 写于 2026-09-03,**跑之前**(写这份文件时 calls.jsonl 只有 11 行 / 366)。 判据同时写死在 `instrument_server.py` 顶部的 `GATES` 里,跑起来之后不改。 ## 为什么要有这一轮 前几轮所有结论都建立在一个观测量上:AB 与 BA 是否一致。而这一个量同时被 三件事驱动,三者对它的预测**完全相同**: | | | |---|---| | A 位置偏好 | 系统性偏好某个槽位 | | B 决策边界任意 | 连拍近重复上模型本来就没有可靠信号 | | C 理由是编的 | 文本不携带照片信息 | 一个观测量分不开三件事。`SLOT-TEMPLATING.md` 那条「甲乙对调后相似度反而更低」 就是这么退化的:它选的子集(两次答同一槽位)本身定死了不等号方向,A 和 B 给出一模一样的预测;而把 BA 的理由换成**完全无关的另一对**做安慰剂, 几乎原样复现了那个差值(+0.150 vs +0.154 等,6 组里 5 组持平、1 组反向)。 那个检验测的是 22 字短句的句式,不是模型行为。**该文档的量化结论作废**, 位置偏好那条(`POSITION-BIAS.md`,靠边缘分布)不受影响。 ## 答案通道改了 `compare.ts` 的答案是 `enum ['JIA','YI','TIE']` —— **这三个符号本身就是槽位标签**, 只看位置的模型不看图就能填满。所以答案通道在设计上无法区分「看了图」和「填了槽」。 这一轮给每张物理照片烧一个随机 4 位码(**加边,不覆盖画面** —— 压住画面就 分不清「位置驱动」和「被挡住了」),答案要求把码抄回来。附带效果: 我们这边的位置映射整个消失,「是不是我们自己算错了位置」从结构上不再可能。 ⚠️ 烧码 + 多要两个字段**换了被测对象**,本轮与历史轮次不可直接比较。 理由同 `compare.ts` 里 `allowNeither` 那条。 ## 条件 | 代号 | 送进去 | 隔离出 | |---|---|---| | `AB` | 甲=a 乙=b | 基线 | | `AB2` | 甲=a 乙=b,**逐字节相同**的重复调用 | 噪声地板 ε | | `AB3` | 甲=a′乙=b′,重编码 q−8、肉眼无差 | 扰动敏感 δ | | `BA` | 甲=b 乙=a | 位置效应(含 δ、ε) | | `AA` | 同一张照片两个副本,**烧不同码** | 编造率 | | `sanity` | 原图 vs 自己的重度模糊副本 | 正对照 | `位置效应 = d(AB,BA) − δ − ε`,d 是「选中的**物理照片**不同」的比例。 AA 烧不同码是关键:两个副本不再是相同图像,模型没法用「这俩一样」脱身, 而质量差异严格为零 —— 此时任何非 TIE/NEITHER 的回答都是编造。 正对照用**注入缺陷**(高斯模糊)而不是「人眼觉得明显」的题:后者仍要靠标注, 而标注本身是待检验的东西之一。 ## 判据(跑之前定死) | 量 | 通过线 | 不达线意味着 | |---|---|---| | 码读对率 | ≥ 90% | <90% → 图像通道有问题,位置之争无意义,先修它 | | 幻觉码 | ≤ 2% | >2% → 答案不是内容寻址的 | | ε 管线噪声 | ≤ 5% | >5% → **历史所有轮次的 MDE 都算低了,要重算** | | δ 扰动敏感 | ≤ 30% | ≥30% → 决策边界任意,成对比较在连拍近重复上不可用,换问法而不是继续调 prompt | | AA 编造率 | ≤ 20% | ≥20% → 编造确认,理由字段永不外显;「不一致」不能一律记作判错,要单独分层 | | 正对照准确率 | ≥ 90% | <90% → 仪器失效,本轮作废 | n=78 时比例估计的 95% CI 半宽约 ±11%,足够区分 5% 与 35%,不足以区分 30% 与 40%。 阈值按这个精度定,不设更细的门限。 ## 已经跑完的:grounding 探针(4 次) ``` 码读对 4/4 框顶部黑边 IoU 0.53 / 0.55 / 0.55 / 0.67 ``` 结论:**码信道可用**(这是整轮的前提)。grounding 机制可用但**精度不够** —— 模型系统性把边高低估约一半,x 方向准、y 方向差 2 倍。框一条高对比度黑边 (真值精确已知)尚且如此,定位「让它做判断的那块脸」只会更差。 **所以 `face_box` 降级为探索性记录,不作判据。** 判别力由码信道承担。 ## 这一轮不回答什么 - 不回答 rubric 有没有用(那是 `CRITERIA-MERGED.md` 那轮,必须排在这轮之后) - 不回答理由文本有没有信息 —— 那要靠**盲还原测试**(把理由的标签抹掉, 两张照片随机排序给标注者看,问这句话在夸哪一张),0 次调用,另做 - 码读对只证明模型看了角落的字,**不证明它看了脸**。所以正对照必须留着