# v0.18:编码任务评测框架与自身基线 本版以验证为主,不宣称模型能力因版本号升级而提升。新增 `benchmark/agent_eval.py`、10 个固定任务、JSON/Markdown 报告与完整源码指纹。用法和局限见 [评测手册](../benchmark/AGENT_EVAL.md)。 真实基线采用显式授权的 DeepSeek API;不自动纳入 pytest/CI,不在任务中人工修补失败结果。费用只按经核实的价格快照计算,缺失价格保持未知。竞争产品对照尚未执行。 ## 首轮真实基线 `deepseek-flash`:10/10 项通过、87 次模型请求、0 次人工介入。每项只跑一次,没有人工修补或失败重跑;原始报告保留了工具拒绝、预设故障和取消请求的不完整用量。当前价格未核实,费用为 unknown。 详见 [首轮基线报告](BASELINE-2026-10-18.md)。结果来自小型固定 Python 场景,不代表大型项目成功率,也没有执行竞争产品对照。 ## 验证 - 评测器离线专项:6 passed;验收初始缺陷失败、正确修复通过、删除测试被拒绝、异常不会误报成功。 - npm 启动器:7 passed;v0.18 tgz 构建、摘要和运行时源码一致性检查通过。 - 首次全量:249 passed、2 skipped、1 failed,1056.70 秒。唯一失败为原有 MCP 排队取消测试,未能在进入取消断言前观察到 fixture 启动标记;日志记录单次启动步骤耗时 11.375 秒,超过该测试配置的 10 秒请求上限。未修改时单项复测通过。 - 已将该测试改为事件同步的受控 transport owner,继续通过生产代码的锁、队列和断开逻辑验证“取消等待者不影响活动请求”,并增加 owner 身份与活动请求正常完成断言。其他真实 stdio/HTTP 测试保留,生产 MCP 代码未修改。 - 修改后完整 MCP 模块复测:9 passed,56.29 秒。仅修改测试同步方式,未再次运行全部 252 项;首次全量失败记录保留,不把专项复测描述成新的全量通过。 - 此项修改仅涉及测试,不改变已保存的真实模型基线源码指纹。 - `git diff --check` 通过。