# 33 评估与演进

平面：控制
governed_by：D-011、D-012、D-013、D-019、D-021、D-023、D-025、D-035、D-038、D-055
用途：回答"这套系统本身在变好还是变坏"，并让新增与删减都必须拿出同一种证据。

## 1. 最小职责与接口

- **它必须做到的**
  - 分层评估，并说明每层能证明什么、不能证明什么。
  - 维护 Case 注册表：两种来源、按用途分区、绑定权威定义版本。
  - 每次实验先写标准再运行，固定对照口径与结论等级。
  - 让**本系统机制的**所有变更走同一条晋升链，晋升检查的是口径不是分数（对象边界见[00 总览 §3](00-总览.md#default-scope)）。
  - 失败先定位最早偏离层，再做子归因，再选修复层。
  - 按三种触发做到期审计，并让删减成为结构性机制而非自觉。
  - 校准评估器，并把评估集自身当作会过期的组件维护。
- **从别的部件拿什么**：从[32 证据与追踪](32-证据与追踪.md)拿轨迹、机制消费与误伤计数、成本分解；从[30 验证与测试](30-验证与测试.md)拿失败 Case 与判分器一致性数据；从[31 守卫与权限边界](31-守卫与权限边界.md)拿误报率、否决率与阻断记录；从[20 状态工件](20-状态工件.md)拿阶段耗时、返工分布与每次尝试改变了哪个输入变量；从[40 人的检查点与授权](40-人的检查点与授权.md)拿晋升批准、回退决定与抽样复核结论。
- **给别的部件什么**：给[23 方法库](23-方法库.md)到期审计的判决、消融结论与删减信号；给[25 执行者与模型](25-执行者与模型.md)指令三分类的判定与代际消融候选；给[30 验证与测试](30-验证与测试.md)判分器的效度证据与自我验证类指令的代际判决；给[31 守卫与权限边界](31-守卫与权限边界.md)机制是否有效的判读；给[12 记忆与知识治理](12-记忆与知识治理.md)保留样本上的结论与策展效果；给[40 人的检查点与授权](40-人的检查点与授权.md)结论等级与剩余不确定性。
- **它自己维护什么**：Case 注册表与其分区、每次实验的 manifest 与历史链、基线工件、指标注册表与方向性指标阈值、规则三分类与各自的到期条件、噪声基线。
- **未决**：日常迭代是否一律以评估作为晋升前置，成本可行性有争议，目前只放宽"作为 Add 信号来源"而不放宽晋升依据；编码场景的方向性指标具体候选待项目提出。

<a id="case-registry"></a>

## 2. 原则

- **P1 分五层评估，每层只回答自己的问题。** 工件级看确定性要求是否满足；轨迹级看是否读对来源、选对工具、守住权限、正确交接，被注入的知识与记忆是否到达并被使用；Harness 机制级看每项规则、方法条目、检查在本次运行中是否被消费、拦住的是真实问题还是误伤；任务级看端到端能否稳定完成；项目级看真实交付与维护是否改善。机制级是第四观测面："已配置"不等于"已生效"，给不出消费与误伤计数的机制在评估里按未生效处理（拦截层自身的失效探测形态见[31 守卫与权限边界](31-守卫与权限边界.md)）。｜防的失败：只看工件测试，发现不了工具、交接、权限与恢复的问题；摆设机制占着上下文与注意力 ｜删除条件：起始档——五层评估与机制级消费/误伤计数自 L2 起才有对象（L0/L1 的形态是一份失败 Case 清单加一次定期减法，见 §3）；作用域内"给不出计数的机制按未生效处理"写不出（责任结构型：机制不能自证生效）
- **P2 Case 注册表接受两种来源，并按用途分区。** 已观察的失败附轨迹，已构造的失败附风险来源，两者同等登记并注明来源类型；不变量类 Case 在系统切换策略的边界两侧各取一点。样本按用途分三区：诊断类可暴露给会修改 Harness 或记忆的执行者，且只给统计摘要；筛选与最终验证类不得被其读取，并定期用真实新失败替换；教学示例与评测样本分开存放。｜防的失败：为想象中的需求建平台；候选在评估集上过拟合，用考题练考题 ｜删除条件：起始档——按用途分区与保留样本自 L2 起才有对象（L0/L1 的形态是一份不分区的失败 Case 清单，见 §3）；作用域内"筛选与最终验证类不得被会修改 Harness 的执行者读取"写不出（责任结构型：被评价者不能看见考题）
- **P3 评估集自身会饱和、会过期，它的修改是受门控的人工变更。** 样本绑定其标注所依据的权威定义版本；定义变更后旧样本只能判未定（UNDETERMINED），不得作为通过依据。评估失败不得由自动流程以"样本过时"消解；用来判断规则是否过期的评估集，自己也要同步复查。晋升评估遵守时间顺序，目标任务之后才出现的结论不得当作历史经验。｜防的失败：指标不好就改指标；用过期标注把正确的新行为判成回归 ｜删除条件：起始档——评估集自 L2 起才有对象（L0/L1 无评估集，见 §3）；作用域内"评估集的修改是受门控的人工变更"写不出（责任结构型：允许自动流程以"样本过时"消解失败，等于让被评价者改考题）
- **P4 先写成功与失败标准，再运行。** 每次实验固定：实验身份、假设与负责人；样本集版本、保留策略与各分区用途；模型与指令版本；被测机制及其相关组件（工具、方法条目、记忆、工作流、权限、Gate）的版本；判分器版本、覆盖域与校准证据；预先声明的阈值、重复次数与重复策略；环境与基础设施配置、执行隔离条件（独占或并发）、执行模式与噪声基线；预算、延迟与人工成本；成本按计费类别加权的口径与价表版本；基线、候选、结果工件、限制与回退方式；结论等级（已确认 / 同时观察到 / 尚未确认）。同一实验的前后对比引用同一基线工件。｜防的失败：看完结果再改阈值；基线漂移导致无法归因 ｜删除条件：运行类型限定——只对以本系统机制为被测对象的交付型运行成立，事实型运行与产品的业务交付变更不适用（见[00 总览 §3](00-总览.md#default-scope)）；作用域内写不出（责任结构型：阈值与判据须预先声明，否则得出结论的一方可以看完结果再选口径）
- **P5 三个口径决定结论成不成立。** 同预算对照：靠增加采样、重试或推理预算得到的提升不计为系统改进。噪声门槛：效果量小于已声明的噪声基线时不得作为依据。路径判定：先回答被测机制是否改变模型所见——不改变的可以只做组件级对照，且只能对局部层下结论，组件本身还须在受控负载下可复现；改变的必须同时报告路径层（轮次、调用次数、失败与重试）。成本结论同样受口径约束：换当前价表是否变号、被报告单元占总量多少，答不出即不成立。｜防的失败：关掉预算就回原形的"进化"；把"过滤本身可复现"误当"对后续决策无影响"；用局部层数据支持整体结论 ｜删除条件：起始档——同预算对照、噪声门槛与路径判定自评估实验出现（L2）才有对象（见 §3）；作用域内写不出（责任结构型：结论成不成立由预先声明的口径决定，不由得出结论的一方事后选口径）
- **P6 晋升链是唯一入口，晋升检查口径而不是分数。** 链路是：观察到失败 → 可复现 Case → 基线 → 候选实验 → 评估通过 → 人类批准 → 决策进入试行或已接受 → 受控发布 → 线上观察 → 保留、修改或回退。晋升处至少检查：manifest 完整、阈值预先声明、同预算对照、原失败路径与至少一条正常路径双通过、成本按加权口径在预算内、批准人与生效范围明确、回滚可用；候选若是规则、方法条目或记忆条目，须附三分类与相应的到期或迁移条件，并引用一个已登记 Case 而不是口头风险。方向性指标越界时冻结晋升；线上观察不能被离线分数替代。｜防的失败：实验结果自动升格为生产规范；只复现失败路径而引入新的误阻断 ｜删除条件：运行类型限定——本链的对象是本系统的规则、方法条目、记忆与机制的变更，产品结构的变更走[10 意图与验收](10-意图与验收.md)的条目与[21 调度与拆分](21-调度与拆分.md)的切片（见[00 总览 §3](00-总览.md#default-scope)）；作用域内写不出（责任结构型：链上的"人类批准"一步不可省，实验结果不能自动升格为生产规范）
- **P7 失败先定位最早偏离层，再做子归因。** 层依次是：意图、权威记录源、检索与上下文、状态与记忆、工具与执行环境、工作流与权限、验证与证据、环境、模型。再往下分：既有规则被违反的，区分措辞歧义、位置稀释、规则冲突、训练偏差、参考材料互相打架、上下文丢失；执行者异常的，区分能力缺失、有能力但无约束、约束存在而执行器有缺陷；落到模型层的，区分部分完成即宣布完成、自我偏好、目标漂移、方案过度复杂。修复优先改既有规则，新增须附"不存在等价规则"的证据；同一失败模式在只改指令或配置的多轮迭代后仍不改善，或同层修复后复发，视为误诊，停止该层迭代转向工具、环境与数据层。｜防的失败：读到坏 Case 就在下游追加提示；配置层无限打转 ｜删除条件：修复工具能可靠做全局语义扫描与最小修改时，定位可交给程序（能力补偿类）；停止条件写不出（责任结构型：同层修复反复不改善即视为误诊并换层，这个止损点由人设定而不由正在修的一方设定）
- **P8 到期审计有三种触发，分工不同，代际审计不可被日常观测替代。** 日常的消费与误伤观测发现摆设与误伤；模型代际更替时在隔离环境里以全删对照建立最小基线，再不带某条规则重跑它绑定的 Case，通过则删除并记录到期证据；周期清扫处理存量。"没有这条提示反而更好"这种信号，被动观测发不出来。规则按三类登记：能力补偿类须写删除条件；组织信息类不因模型代际而过期，但可以从指令形态迁移到工具或检查器形态；责任与结构类（安全、权限、不可逆边界、验证者分离）声明无到期。删除条件可以是触发条件收窄而非整体移除；删减同样要跑评估并保留回退。｜防的失败：静默过期的规则只产生成本不产生误伤信号；结构性规则被当成补偿规则一起删掉 ｜删除条件：起始档——代际全删对照与常态消费/误伤观测自 L2 起才有对象（L0/L1 的形态是"一次定期减法"，见 §3）；作用域内"三类规则各自的到期口径"与"删减同样要跑评估并保留回退"写不出（责任结构型：责任与结构类声明无到期，这一分类本身不能由想删它的人重判）
- **P9 Add 与 Thin 的作用域是共享组件，Thin 必须是结构性机制。** Add 信号：重复失败或人工纠正、来源错读、恢复或验收失败、高风险边界仍依赖模型自觉、稳定步骤反复消耗人的注意力；一次性工件只有被重复生成时才成为候选。Thin 信号：说不出解决哪个 Case、长期无消费、机制重复、模型已可靠内化、频繁误伤、维护与上下文成本超过收益、已被更确定的机制替代。删减不依赖策展者自觉，须有结构性刹车（并列形态：容量置换 / 相似合并加版本 / 压缩比约束 / 周期性自动清扫）；删除门槛低于新增——绑定 Case 不再复现或持续零消费，即可由维护者删除并保留历史。候选发现是改进闭环的独立步骤且自带限流：任务结束后才触发、有信号才输出、单次输出有上限、只建议不写入，进入待审队列后才走晋升链。库或规则集的健康度只能是下游结果与召回有用率，不能是条目数；规范自审计只作诊断，不按存在性或数量打分。｜防的失败：只增不减导致检索噪声上升；把"抽出了多少条"当成果 ｜删除条件：写不出（责任结构型："删除门槛低于新增"与"健康度只能是下游结果、不能是条目数"，是"评价者不能是被评价者本人"在规范自身上的落点——由增加条目的一方判断该不该删，方向必然只增不减）
- **P10 评估器与指标自身是被评估对象。** 评估器须校准：生成与评估分离、有已知答案的基准样本、与人工判定做一致性比对、判分器变更后重跑历史样本，判错即中止并作废本轮输出。指标须声明归属层级（任务内：局部输出 / 行动路径 / 整体结果；组织内：个人 / 团队交付链 / 业务结果）与可归因程度，低层收益不得引为高层证据；流动类指标不得单独报告，须与质量反指标和集中度反指标成对出现并带基线期；除结果指标外还要监控方向性指标（输出规模、调用次数、被删除的测试与被禁用的检查、资产库的增长方向）并设阈值，以捕捉每步都过门控、多轮却累积偏离的形态。还要检查瓶颈是否已经转移到需求、评审、发布或业务验证。｜防的失败：评估器偏差被闭环反向优化；个人效率被外推为业务价值；周期下降而缺陷密度上升未被同时报告 ｜删除条件：起始档——评估器校准、指标注册表与方向性指标阈值自 L2 起才有对象（见 §3）；作用域内"评价者不能是被评价者本人"与"低层收益不得引为高层证据"写不出（责任结构型：把个人效率外推为业务价值是一次归属层级的越界，越界的后果由据此决策的一方承担）

<a id="metrics-candidates"></a>

## 3. 从 L0 到 L3

| 档 | 形态 |
|---|---|
| L0 一人一工具 | 一份失败 Case 清单加一次定期减法；每条规则写下时就绑定它防的失败与删除条件。 |
| L1 一人多会话 | 修复前先定位最早偏离层；同一层反复不改善就换层；候选进待审队列而不是随手写入。 |
| L2 团队 | Case 注册表按用途分区并绑定定义版本；实验有 manifest 与预先声明的阈值；晋升链与晋升检查成文；机制消费与误伤计数进入常态复查。 |
| L3 无人值守 | 五层评估自动产出结论等级；三种到期触发常态运行，代际更替时做全删对照；方向性指标越界自动冻结晋升并升级到人。 |

## 4. 追溯

本章的写作期内容——它解决什么问题、源章节与主题综合的映射、每条原则的证据强度——在[追溯账本](追溯账本.md#ch-33)，效力为零。