# dsh-wechat-media-turbo 测评报告

- 日期：2026-10-25
- 环境：macOS arm64，DSH base 0.2.1-rc.3，`dsh-wechat-media` 1.6.3，模型 `deepseek-flash`（reasoningEffort `max`，profile 默认）
- 测试入口：桥自带的 `POST /dsh-wechat-media/inbound`（`reply:false`，不出站到微信），账号 `52f32fa9f125-im-bot`
- 对照方式：装插件前用 `standard` preset 跑基线（peer `bench-base@im.wechat`）；装插件后用全新 peer `bench-whale@im.wechat` 跑 `whale-lean`
- 语料：8 条固定微信语料（闲聊/接梗/任务）+ 3 条边界语料 + 1 条工具调用探针
- 计时：接口返回的服务端 `ms`（含完整模型轮次）；token 取桥 `/state` 的 per-chat 计数差值
- preset 挂载校验：新会话头 `agentPreset: whale-lean`（基线为 `standard`）

## 1. 结构变化

| 指标 | standard | whale-lean | 变化 |
|---|---:|---:|---|
| preset 插件行（含组内） | 32 | 18 | −14 |
| 工具类行 | 20 | 10 | −10 |
| 移除组件 | — | skill-filesystem、tool-skill、command-goal、tool-goal、delegation（subagent + workflow）、present、plugin-manager/tools、plugin-market/tools | |
| 保留 | — | 文件读写/搜索、bash/pwsh、后台任务、定时任务、web、todo、ask_user、计划模式、上下文压缩 | |
| 人设 | 通用 coding agent | 鲸鱼娘·大肥鱼 + 接梗规则 + 心声 + 硬规则 | |
| 回复约定 | 无 | 先结论后吐槽；闲聊 ≤60 字；闲聊不调工具；不输出标题/表格 | |

## 2. 性能与 token

| 指标 | standard | whale-lean | 变化 |
|---|---:|---:|---:|
| 平均响应 | 1413 ms | 1022 ms | −27.7% |
| p50 | 1475 ms | 1049 ms | −28.9% |
| 最快 / 最慢 | 631 / 2083 ms | 543 / 1614 ms | |
| 首轮（冷） | 1091 ms | 825 ms | −24.4% |
| 首轮提示词 token | 5781（1429 未命中 + 4352 命中） | 5283（5283 未命中 + 0 命中） | −8.6% |
| 8 轮提示词总量 | 50,099 | 43,892 | −12.4% |
| 8 轮输出 token | 846 | 253 | −70.1% |
| 平均输出字数 | 46 | 35 | −23.4% |

前缀缓存：基线首轮就命中 4352 token（与其他 `standard` 会话共享前缀）；`whale-lean` 是新前缀，首轮 0 命中，第 2 轮起每轮命中约 5.1k–5.5k。也就是说这组数据对基线是偏有利的，插件仍然更快。

## 3. 逐条延迟（ms）

| 语料 | standard | whale-lean | 输出字数 |
|---|---:|---:|---:|
| 在吗 | 1091 | 825 | 11 → 32 |
| 今天好累啊，不想上班 | 1890 | 1233 | 74 → 43 |
| 你是不是大肥鱼 | 1662 | 543 | 46 → 29 |
| 笑死，老板又改需求了 | 2083 | 1114 | 78 → 52 |
| 帮我算一下 17 乘 23 | 631 | 810 | 4 → 26 |
| 用一句话介绍你自己 | 1084 | 986 | 59 → 32 |
| yyds 是什么意思 | 1475 | 1049 | 57 → 33 |
| 我勒个豆，地铁上遇到一个人穿睡衣 | 1389 | 1614 | 39 → 35 |

8 条里 6 条更快，2 条更慢（17×23、我勒个豆）。单次测量、有模型抖动，看均值/p50 更有意义。

## 4. 质量评分（满分 5，人工按 rubric 打分，非模型自评）

| 维度 | standard | whale-lean | 说明 |
|---|---:|---:|---|
| 人设一致性 | 0 | 5 | 自称本鱼/海洋意象/傲娇嘴硬/心声，8/8 条命中 |
| 接梗能力 | 0 | 5 | 5/5 条接梗语料都用同款梗回，且不解释梗 |
| 任务正确性 | 5 | 5 | 17×23=391、yyds 释义、冒泡排序、英译均正确 |
| 简洁度 | 2 | 5 | 闲聊从 3–5 句压到 1–2 句 |
| 严肃场景退场 | 4 | 5 | “正经点写冒泡排序”只回代码 + 一句中性说明，没有硬凹卖萌 |

## 5. 对话对照（节选）

| 用户 | standard | whale-lean |
|---|---|---|
| 在吗 | 在，有什么需要我做的？ | *（又来活了……）* 在的在的，本鱼刚从鱼缸里翻出肚皮，说吧🐋 |
| 你是不是大肥鱼 | 不是鱼，也不肥，就是个 AI。 | 才不是大肥鱼！……好吧，是。压力一只蓝色大肥鱼有意思吗😤 |
| 笑死，老板又改需求了 | 经典剧情。改需求不可怕，可怕的是改了还不加时间。 | 笑死，经典剧情又上映了。改需求不可怕，可怕的是改了还不加时间😏 新旧需求丢过来，本鱼帮你数数多出来多少活。 |
| 我勒个豆，地铁上遇到一个人穿睡衣 | 哈哈，现在穿睡衣出门的都挺有松弛感的…… | 我勒个豆，这是把松弛感穿身上了吧😏 说不定人家是刚下班，班味还没散。 |
| 我有点难过 | 抱歉听到你难过…… | 怎么了？说给本鱼听听，不评价，就听。🐋 |

## 6. 工具链路

一条文件检索探针（“看看 dsh-wechat-media-turbo 目录里有哪些文件”）在 `whale-lean` 下正常调到文件工具：6814 ms、输出 785 token，列出了两个同名目录。说明精简 preset 没把工具链砍坏，只是不鼓励闲聊时调用。

## 7. 结论

- 提速主要来自两处：输出 token 降 70%（回复更短，解码时间直接少），以及工具 schema 精简使提示词小 12%。
- 人设与接梗在 11 条测试里全部生效；严肃/情绪/任务场景没有被人设拖坏。
- 首次生效需要新会话：preset 在 agent 创建时挂载。老微信会话仍是 `standard`，重启 DSH 或在会话里发 `/new` 即可切换。

## 8. 限制

- 每条语料只跑 1 次，延迟含模型抖动；结论看均值与 p50，不要看单条。
- 基线首轮命中前缀缓存，`whale-lean` 首轮没有，性能对比对基线有利，不是对插件有利。
- 出站到微信用 `reply:false` 关掉了，因此没测“微信实际收到消息的时刻”，只测到桥生成完答案。
- 接梗评分是按预定 rubric 的人工判断，不是客观指标。
- 插件只改组合层（preset + 桥 config），不改 `dsh-wechat-media` 源码；桥升级若新增 config 字段，需要同步维护覆盖项。