--- name: benchmark-checklist description: "报告或依据性能测量行动前审查它(限制因素、调优、极限、错误、可重复性、相关性以及工作是否真的发生)。运行基准测试,或报告你测得的加速或回归时使用。" disable-model-invocation: true --- # 基准测试检查清单 产出性能数字时使用:PR 前后对比、回归声明、爬山测试框架,或库与配置选择。每个问题都用运行证据回答,而非对代码的猜测。 用户只要快速大致数量级时,一次运行足够。仍需检查问题 4 和 7,并说明只有一次运行。除非该次运行看起来有误,否则跳过其余问题。选项之间的选择绝不能只做大致估计。 ## 运行任何内容之前 - 写下预期作出的声明,使用最终交付措辞(“在 6 万行数据集上,导出 p50 快 30%”)。问题就是在检验这句话。 - 阅读测量脚本,记录它计时什么、计数什么、忽略什么。 - 用 `uptime` 检查平均负载,用 `nproc` 检查核心数。机器繁忙时,查明哪些进程在运行。无法停止时,交错运行双方,让二者承受相同噪声,并在报告中说明。 ## 问题 1. **为什么不能快一倍?** 指出限制因素。在不用于报告的运行中剖析,因为剖析器和跟踪器会拖慢工作。使用各进程 CPU(`top`、`pidstat`)、运行时剖析器(`node --cpu-prof`、`py-spy`、`perf`)、I/O 等待和系统调用计数(Linux 的 `strace -c`),再把热点映射到源码。也观察负载生成器:若它先饱和,你测到的就是负载生成器。若改动没有改变数字,限制因素能解释原因,因此在称改动无用前先找出它。 2. **是否经过调优?** 每一方都按生产方式运行:发布构建、生产标志与环境、批处理和事务设置、连接池、按生产状态预热或冷启动缓存,以及相同版本和数据。若一方使用默认值,你比较的是配置,而非实现。限制因素若是设置(每行一次提交、调试构建、缺少索引),则该方未经调优。先调优重测再选赢家。无法调优时,不要根据该运行选赢家。用户在选择采用什么时,把声明缩窄到代码今天交付的状态并不能解决,因为他们采用的是选项,而非今天的设置。 3. **是否突破极限?** 做算术。比较每秒字节数与磁盘和网络带宽,将每秒操作数乘单次操作成本并与核心数比较,将节省时间与改动部分原耗时比较。移除占运行时间 10% 的部分,最多使整体快约 11%。超过极限的结果测到了工作以外的东西,例如缓存、空操作或缺陷。 4. **是否报错?** 统计失败和非成功响应,检查输出正确而非只是存在。拒绝通常很快,超时和重试则很慢。脚本不统计错误时,加入计数。 5. **能否复现?** 每一方至少运行 5 次并交替(A、B、A、B 等),避免预热、惰性初始化、缓存和漂移偏向任何一方。报告中位数和范围。小于运行间波动的差距不算可测差异。结论接近时,使用秩和检验或测试框架自身统计方法。 6. **是否有实际意义?** 任何微观结果旁都要测量用户等待的端到端路径,使用真实数据规模和并发,并报告微观结果占整体的比例。占请求 1% 时间的辅助函数无论多快,最多只能让请求快 1%。 7. **工作真的发生了吗?** 确认工作在计时区域内执行:请求到达服务器、行已写入、字节已读取,代码使用了结果。惰性代码(无人迭代的生成器、无人等待的 promise、JIT 可丢弃的结果)和超时,会为从未发生的工作产出数字。 ## 报告 - 先给结论:更快、更慢、无可测差异或无法定论。 - 给出数字及单位、运行次数、范围和限制因素。例如:“p50 从 41 ms 降为 33 ms,每方 7 次运行中位数,变更后范围 32 至 35 ms,受单核 JSON 解析限制。” - 声称存在差异却无法指出限制因素、某方未调优,或无法检查问题 4 和 7 时,判为无法定论。指出缺口。 - 按**创建 PR**手册,PR 正文只保留一个主要数字。运行记录、范围和限制因素证据放入链接产物或说明文件。 ## 其他性能材料 - 在**性能问题**手册据基线制定计划前核验基线,之后核验每个数字。 - 在**爬山优化**手册冻结测试框架前核验它。冻结框架之后会打印错误数和实际工作数,使每次保留或回退都自动检查问题 4 和 7。