--- name: principle-explain-the-number description: "测量之前使用,也在你信任、报告或依据一个测到的数字行动之前使用:加速、回退、吞吐、延迟,或一次 eval 结果。找出限制它的东西,并排除它量到的不是你以为的那项工作。" disable-model-invocation: true --- # 解释这个数字 - **跑之前先写下决定。** 点名会改变它的那个结果,以及噪声底。一次次运行之间的散布比效应还大时,停。 - **问「为什么不是两倍?」** 点名把结果框住的资源或代码路径,依据是一次运行期间取得的 profile 或计数器。读代码猜出来的不是限制因素。 - **列出这个数字还可能在量什么**(错误、被跳过或被缓存的工作、根本没跑的代码、没调过的一侧、噪声、一块小到无关紧要的部分),并用证据逐个排除。 - **把运行次数、散布和限制因素和数字放在一起。** 性能数字跑 [benchmark-checklist](../benchmark-checklist/SKILL.md) skill。eval 结果要问:是不是每次运行都做了任务,差距在多次试验和多个模型上是否成立,这个场景重不重要。