--- name: create-formal-verification-skill description: "生成一份项目本地 skill,对 bug 代价最高、测试最到不了的代码做形式化验证。任何语言,用合适的验证工具。用于 /create-formal-verification-skill、「model-check this race」、「prove this invariant」,或并发、重试、状态机、解析器、不安全代码需要比测试更多的时候。" disable-model-invocation: true --- # 创建形式化验证 skill 测试检查的是有人想到要写的那些情况。形式化验证检查一个声明范围内的每一种情况:模型里步骤的每一种顺序,直到某个界限的每一个输入,或每一个输入。这个 skill 找出仓库里这件事最要紧的部分,验证它的一条性质,并留下一份项目本地 skill,让下一个 agent 能拿一次改动去对这条性质。把那个 skill 写给一个冷读的 agent:它在改动中途读,从没见过你的工作。用户必须能信任结果并据此行动,不必去学验证语言。 ## 从代码里选目标 答案从代码库来,只有你观察不到的才问用户。用户点了一个区域或一个 bug 时,从那里开始。 好目标是代码做出的一个承诺:打破它会伤害用户,而测试很少到达打破它的那种情况。选仓库里最强的这样一个目标。容易验证不是选择标准。 ## 让问题来选工具 选能以最低成本回答这个问题的工具:模型检验器、证明助手、带 SMT 的验证器,或其他工具。事件会不会按坏的顺序发生,通常适合用模型检验器,对着设计的一个小模型来做。任何语言里,这件事默认用 TLA+。代码本身对每个输入是否行为正确,例如内存安全、溢出,或数据结构不变量,通常适合一个跑在代码上的验证器。没有验证器能跑在这个语言上时,就说出来,并用生成的输入测试真实代码。不要用手写的函数模型。一条必须在每一种规模上都成立的性质,界限不够时,可能需要一份证明。优先选这个仓库的开发者装得上、跑得了的工具,并告诉用户你为什么选它。 ## 什么让它好 - **忠于代码。** 模型或证明的每一部分都指向评审者打得开的代码。验证当成一个不可再分步骤的,在代码里也是一个不可再分步骤。名字来自这个仓库。 - **能够失败。** 一个你从没见过失败的检查,什么都证明不了。让每条性质在它所守卫的代码的一个坏变体上失败,例如去掉一项检查,或重排一个步骤。 - **发现保持为发现。** 当前代码打破这条性质时,用代码自己的术语连同反例一起报告。不要把性质或模型削弱到它能通过。除非用户要求,不要改产品代码。 - **对范围诚实。** 说出验证了什么,在哪些界限和假设下,以及留下了什么。一次通过覆盖的是模型或界限。它不覆盖整个系统。 - **不靠工具也能读。** 性质和伤害各用一句平白的话说明。把反例讲成代码用语里的一短串步骤。 - **重跑便宜。** 一条命令,一个可复现的工具版本,一次短到下一个 agent 愿意在每次相关改动上用它的运行。 - **和代码保持同步。** 记录每次检查覆盖哪些文件和函数,以及你上次确认验证仍在描述它们的那个 commit。覆盖的代码在那个 commit 之后变了,下一个 agent 就能看出验证需要再看一眼。 ## 生成验证 skill 写一份项目本地 skill,frontmatter 点名区域,并说明什么时候用它。没有 frontmatter,skill 永远不会注册。只靠这份 skill,下一个 agent 必须能判断一次改动有没有碰到已验证的代码,跑检查,把真实 bug 和建模错误区分开,并在改动是有意的时候更新验证。把覆盖记录和同步 commit 放进 skill,并告诉下一个 agent:只有确认验证描述的是新 commit 上的代码之后,才把同步 commit 往前移。用这个仓库真实的命令、路径和名词,不留占位符。 检查是 TLA+ 模型时,告诉下一个 agent 用 pstack 的 [`/statechart`](../statechart/SKILL.md) skill 读每一个结果。它把检验器找到的每一次不变量违反,用平白的话显示成最短路径。检查通过时,`/statechart` 画出系统怎样在状态之间移动。用名字指 `/statechart`。它的命令、选项和文件路径会随版本和机器变化,所以一条都不要抄进生成的 skill 或它的脚本。 ## 交出之前先证明 按下一个 agent 会做的那样,把生成的 skill 走一遍:在真实代码里做一处打破这条性质的临时改动。它必须抓住这次打破。然后丢掉临时改动,确认检查回到起点:通过,或者只在你将要报告的那些发现上失败。一份从没跑过的验证 skill 是草稿。skill 漏掉了这次打破,或某一步跑不起来时,修 skill 或验证,不要修那处临时改动。 ## 交接 告诉用户你验证了什么,用了哪个工具、为什么,界限是什么,检查用平白的话发现了什么,怎么跑,以及它不覆盖什么。只有找到一个很接近的,才建议第二个目标。改动之后没有重跑验证时,把用户指到 `/maintain-formal-verification-skill`,让验证重新对齐。