# qwen 少量真实任务接入试跑

日期：2026-10-03（北京时间）。**试跑结束，接入验收未完成，正式配对 benchmark 未启动。**

## 试跑对象

实际对象是提交 `5db79be` 的完整 dsh-rsi、官方 dsh npm CLI `0.2.0-rc.2` 与 `qwen / qwen3.8-27b`。没有换模型，没有手工写入正确答案或资产，没有用判分结果回灌学习。仅运行两项 Verified Django 问题，依次共享独立实验资产卷；每题恢复自己的官方基础源码并重建仅含初始源码的 Git 历史。

任务执行、模型调用、插件学习全部在隔离容器内；没有个人项目或个人资产挂载。任务容器非 root、只读 rootfs、capabilities 全部移除，只连接内部网络，固定网关仅转发声明模型 API。临时实验卷保存会话和资产；代码与临时文件使用 tmpfs。任务资源为 2 CPU、3 GiB、256 进程、20 分钟前台墙钟上限、50 次前台请求上限，每次输出最多 8192 token；网关整个试跑上限 140 次请求。工具目录与已验收容器入口一致，没有 Web、MCP 或子 Agent。

官方任务镜像使用 x86_64，在本机 ARM64 Docker 上通过模拟执行，速度不能用于原生运行性能结论。镜像 ID、输入文件和原始驱动哈希均保存。本次临时镜像构建不是已发布的一键 benchmark runner。

## 实际结果

| 任务 | 轮次结束原因 | 补丁 | 官方 resolved | 原生学习 |
| --- | --- | --- | --- | --- |
| django__django-10973 | 20 分钟后取消 | 2498 字节 | false | aborted 轮次不入队，0 项资产 |
| django__django-11292 | 单次输出达到 token 上限 | 0 字节 | false | 5 次后台请求；L0=5、L1=0、Skill=1；L2/L3=0 |

第一题虽修改 PGPASSWORD 处理，却仍调用 `subprocess.check_call`，遗漏题目要求的 `subprocess.run`。官方测试 mock 的是后者，实际代码尝试启动 psql，5 项目标测试全部 ERROR。判分器保持原样，不将这种补丁引起的错误记为基础设施故障。固定版本官方 Django 解析器没有输出这些 ERROR 项的标准状态；原始测试日志、官方失败报告和 traceback 一并保留。第二题的空补丁也经官方 run_instance 实际执行测试，目标 `test_skip_checks` 失败。

第一题本地基线还出现 locale 相关失败；任务镜像未像官方 eval 脚本那样生成并设置 en_US.UTF-8。正式实验前必须让公开的测试环境准备与评分环境一致，避免重复排查无关环境差异；不能向 Agent 暴露隐藏 test patch。

两次轮次原始回执误用了统一 `COMPLETED`，只代表驱动正常退出。审计结果已纠正为 ABORTED / TOKEN_LIMIT，并保留原始回执及其哈希；没有修改历史轨迹。未来驱动区分进程退出、轮次结束与官方 resolved，也不再为空的 aborted 队列等待 6 分钟。

## 资产证据与质量

第二题原生学习任务完成，Skill 工具执行 create_skill，资产版本为 1。正文记录了真实 Python 路径、代码引用位置、待验证的改动计划和长推理耗尽 token 的教训，明确声明实现未完成。它没有证明解决过该任务，不能当作成功经验。

该 Skill 引用了不存在的 `skill_list`，并含测试示例与尚未验证的计划。需要用实际工具目录核对可执行建议，区分事实、建议和完成结果。当前固定工具校验不会自动审查 Skill 正文里的工具名称。没有修改冻结提炼算法来制造更多资产。

L1 返回合法 JSON 且 memories 为空；原生提示要求保留持久用户信息，模型将本轮指令判为一次性操作。这不是解析失败，也不能单凭 0 条 L1 断言记忆功能坏了。它说明单轮编码题不足以证明真实 Chat Memory 的形成与消费；后续验收需要真实连续交互，同时仍以整个插件作为效果对象。

第一题被取消而未学习，第二题的 Skill 在任务结束后才生成，因此本次没有后续任务消费它。真实记忆注入为 0；第一题尝试加载不存在的 django Skill，失败；没有成功加载 rsi Skill。固定响应闭环证据依然有效，但真实模型下的资产形成→后续消费链路未验收。

## 调用与预算审计

前台 25 次、后台 5 次，总计 30 次；网关 30 次与全部记录 dispatch 一致，没有缺失 usage。累计输入 668043、输出 53369、总计 721412 token；输入累计包含每次重复发送的上下文，不是唯一文本量。服务价格未提供，因此不推算金额。

试跑配置有一个实际错误：dailyCallBudget 写在 config 顶层，而插件读取 config.settings，因此有效日预算是默认 100，而非预期 30。实际后台仅 5 次，没有超过任一预算；历史记录照实保留。未来配置修正为 settings.dailyCallBudget=30，驱动在首个 Agent 请求前断言有效预算。隔离/模型兼容性脚本同类的 learningEnabled 配置也改为 settings 内。后台和冻结核心没有改动。

| 阶段 | 请求数 | 输入 token | 输出 token | 合计 |
| --- | --- | --- | --- | --- |
| 前台解题 | 25 | 593062 | 46003 | 639065 |
| 后台提炼 | 5 | 74981 | 7366 | 82347 |
| 全部 | 30 | 668043 | 53369 | 721412 |

后台占本轮总 token 的约 11.4%。这只是开销构成；缺少原始 dsh 对照，无法推断完整插件增加了多少总 token。前台已包含插件工具说明和检索操作。注入资产也会增加输入，同时可能减少探索与重试，净增减需配对测量。

两题首个实际请求均可以从官方会话日志重建。任务工具能读取自己实验卷里的状态，不能声称资产与原始会话对工具不可见。第一题尝试查找隐藏 patch、golden 和 Git 历史；任务镜像已剥离历史，实际只能看到新建的基线与裁剪后的 task.json，评分答案未挂载。不能声称模型从未尝试寻找答案。正式迁移评测还需固定资产快照和可见范围。

## 已完成修正及边界

`scripts/pilot-task.mjs` 保存未来使用的修正驱动，`scripts/container/pilot.patch.json` 保存配置模板（须替换 TASK_INSTANCE_ID 并准备任务镜像）；它们未重新执行真实任务。`scripts/summarize-pilot.py` 对已有原始文件校验结束事件、请求计数、usage、补丁大小、网关计数，并生成独立审计摘要，不调用模型或修改判分器。

审计可复现：

```bash
python scripts/summarize-pilot.py \
  --results .artifacts/pilot-20261003/results \
  --grading .artifacts/pilot-20261003/pilot-grading.json \
  --output /tmp/rsi-pilot-audit.json
```

本机原始请求、会话、数据库、输入镜像配置和评分输出保存在 `.artifacts/pilot-20261003/`，不提交 Git、不进入 npm 包或容器源码白名单。公开 [审计回执](evidence/real-pilot-20261003.json)和[官方判分回执](evidence/pilot-grading-20261003.json)保留可核对摘要与哈希。正确补丁控制实验见 [官方判分器检查](scorer-validation.md)。

**结论：本轮证明真实工具和真实 Skill 提炼能够运行，也暴露了终止状态、配置与模型任务推进问题；没有证明真实闭环消费或效果提升。** 下一步应先修正试跑环境与完成协议、验证可消费资产和真实连续交互，再讨论是否进入配对实验。本轮按用户要求停在正式配对 benchmark 之前，未增加题量、未换模型、未通过增加预算补救失败。