Data Analytics report
DSH Provider Passport:从真实失败中筛出的产品机会
基于 DeepSeek Harness npm 默认版与最新 alpha 版实操、真实运行对照、社区查重与产品门槛的决策报告。
截至 2026 年 9 月 2 日的实验、生态扫描与私有候选验证。
Executive Summary
- 产品机会已从构想推进到私有发布候选。 它不是另一个通用 OpenAI 接口测试器,而是为 Harness 的自定义模型接入补上“确认成本与隐私 → 识别请求方言 → 生成最小配置 → 真实 Harness 验证 → 可回滚应用”的闭环。
- 痛点与修复均由真实 Harness 路径证明。 三类网关限制都通过了通用兼容检查,但 Harness 默认配置为 0/3;加入最小
compat配置后为 3/3,同一打包插件在 npm 默认0.1.1-rc.2与最新0.1.2-alpha.4Web Profile 中完成安装、应用、复验与恢复。 - 查重边界仍然成立。 通用扫描器、模型能力探测、模型健康监控和替代适配器各自解决一段问题,但没有把 DSH 请求方言诊断、配置生成与运行时复验连成闭环。
- 仍不建议立即公开。 本地确定性实验已经证明因果和实现质量;公开前还需一个真实第三方故障端点,避免把模拟网关行为误当成市场验证。
这个方向达到开发门槛,但还没有达到公开发布门槛
产品机会评分为 22/25。高分来自问题强度和官方价值;扣分主要来自真实失败端点样本仍少,以及插件只能诊断、不能修复某些核心层限制。内部开发门槛设为 20/25,且必须同时满足“真实 Harness 可复现”和“无高重合替代品”。
基于实测、官方文档、社区讨论与替代品边界的五维判断。
| 维度 | 得分 | 依据 |
|---|---|---|
| 痛点强度 | 5/5 | 错误延迟到真实任务,用户难以定位 |
| 受众广度 | 4/5 | 适用于自定义网关、自托管与企业代理用户 |
| 差异化 | 4/5 | 现有工具未连接 DSH 方言、配置生成与复验 |
| 插件可实现性 | 4/5 | 设置、凭据和运行时已有社区插件先例;核心限制只能报告 |
| 官方价值 | 5/5 | 可沉淀为上游 Test connection / preflight 设计 |
通用测试说“能用”,真实 Harness 却失败
这正是产品成立的关键差异。实验复用了 CompatCanary 的 5 项通用检查,没有重写现有能力;随后让同一端点进入实际打包版 Harness。每个场景中,通用控制均为 5/5,通过;Harness 默认请求均失败;最小配置建议均恢复成功。
确定性本地网关、CompatCanary 通用控制、默认与推荐配置的真实 Harness 进程对照。
| 网关限制 | 通过率 | 运行方式 | 通过数 | 总数 |
|---|---|---|---|---|
| 旧式 OpenAI 方言 | 100% | 通用控制 | 1 | 1 |
| 旧式 OpenAI 方言 | 0% | Harness 默认 | 0 | 1 |
| 旧式 OpenAI 方言 | 100% | 最小建议 | 1 | 1 |
| 不接受 store | 100% | 通用控制 | 1 | 1 |
| 不接受 store | 0% | Harness 默认 | 0 | 1 |
| 不接受 store | 100% | 最小建议 | 1 | 1 |
| 不接受 reasoning_effort | 100% | 通用控制 | 1 | 1 |
| 不接受 reasoning_effort | 0% | Harness 默认 | 0 | 1 |
| 不接受 reasoning_effort | 100% | 最小建议 | 1 | 1 |
当前自定义模型接入把失败推迟到了第一次工作
- 添加自定义提供方 — 黄。 表单可填写地址、协议、密钥与模型,但没有“测试连接”。
- 获取模型 — 黄。 主要依赖 OpenAI 风格的
GET /models;企业网关自定义请求头等条件无法在当前表单里表达。 - 保存配置 — 黄。 界面不暴露常见请求方言开关,也不会验证真实生成请求。
- 第一次聊天或工具调用 — 红。 用户此时才看到 400、空输出或工具错误,却难以判断是密钥、模型、网关还是请求形状。
- 手工查文档并编辑 YAML — 红。 官方文档明确给出
supportsDeveloperRole与maxTokensField等修正,但普通用户很难从报错反推字段。 - 修改后重新建会话验证 — 绿。 专家可以完成,但缺少面向大众的证据、预览与回滚闭环。
这不是“安装包”问题,而是把专业协议知识暴露给了第一次接入模型的用户。
站在现有工具上开发,边界仍然清晰
候选产品应直接复用 CompatCanary 的通用探测,并尊重已有 DSH 插件的边界。下表中的项目都值得借鉴或连接,但都不等价于“为官方自定义提供方生成可验证的 DSH 兼容护照”。
现有方案边界
核对项目定位、许可证、当前 README 和更新状态,并按任务边界比较。
| 项目 | 主要工作 | 与候选产品的缺口 | 重合度(判断) |
|---|---|---|---|
| CompatCanary | 通用 OpenAI 兼容扫描 | 不理解 DSH 适配器配置,也不走 Harness 运行时 | 45%Source: GitHub 生态项目查重 |
| dsh-polyglot | 替代适配器、预设与故障转移 | 绕开官方自定义路由,而非诊断并修好它 | 35%Source: GitHub 生态项目查重 |
| CedarDSH Model Probe | 推理等级与图片能力探测 | 不诊断角色、token、store、stream 等请求方言 | 30%Source: GitHub 生态项目查重 |
| AGSQ11/dsh-model-probe | 模型 Alive/Dead 健康监控 | 不隔离失败字段,不生成最小兼容配置 | 30%Source: GitHub 生态项目查重 |
| Jiayz00/dsh-model-probe | 目录/家族规则补全模型能力 | 不是主动请求方言预检 | 25%Source: GitHub 生态项目查重 |
| dsh-llm-newapi | NewAPI 专用适配器和模型页 | 供应商专用,不是通用 DSH 预检 | 25%Source: GitHub 生态项目查重 |
| dsh-byok | 轻量 BYOK 与代理路由 | 不做 pi-ai 方言诊断 | 20%Source: GitHub 生态项目查重 |
社区证据覆盖的是一族问题,不是一个孤立报错
已逐条核对 11 个公开讨论,涉及角色、token 字段、推理字段重放、模型发现、自定义请求头、能力声明和工具流。它们不能被当作 11 个独立用户,也不代表每个问题仍未解决;它们的价值在于证明“自定义提供方接入失败”有多个重复出现的技术根因。
公开讨论样本
逐条读取标题、类别、评论数与当前元数据,用于识别问题族。
| 讨论 | 问题族 | 可转化的产品信号 | 评论 |
|---|---|---|---|
| 5,306Source: DeepSeek Harness 公开讨论样本 | 模型发现 | 模型列表陈旧或未从端点刷新 | 0Source: DeepSeek Harness 公开讨论样本 |
| 5,294Source: DeepSeek Harness 公开讨论样本 | 认证/发现 | 模型发现无法携带企业网关自定义请求头 | 0Source: DeepSeek Harness 公开讨论样本 |
| 5,293Source: DeepSeek Harness 公开讨论样本 | 严格网关 | 额外请求字段导致第三方网关拒绝 | 0Source: DeepSeek Harness 公开讨论样本 |
| 5,257Source: DeepSeek Harness 公开讨论样本 | 认证传输 | Bearer 与协议原生请求头缺少扩展面 | 0Source: DeepSeek Harness 公开讨论样本 |
| 5,051Source: DeepSeek Harness 公开讨论样本 | 推理配置 | 第三方模型缺少推理等级配置入口 | 4Source: DeepSeek Harness 公开讨论样本 |
| 4,887Source: DeepSeek Harness 公开讨论样本 | 能力声明 | 第三方模型无法在界面声明多模态 | 1Source: DeepSeek Harness 公开讨论样本 |
| 4,817Source: DeepSeek Harness 公开讨论样本 | 提供方保存 | 升级后添加第三方提供方无响应 | 4Source: DeepSeek Harness 公开讨论样本 |
| 4,745Source: DeepSeek Harness 公开讨论样本 | 推理重放 | 跨提供方重放缺失 reasoning_content | 5Source: DeepSeek Harness 公开讨论样本 |
| 3,685Source: DeepSeek Harness 公开讨论样本 | 输出上限 | max token 字段与截断反馈不清晰 | 1Source: DeepSeek Harness 公开讨论样本 |
| 2,540Source: DeepSeek Harness 公开讨论样本 | 工具流 | 空 id/name continuation 造成 unknown tool | 3Source: DeepSeek Harness 公开讨论样本 |
| 2,007Source: DeepSeek Harness 公开讨论样本 | 角色方言 | 仅支持 system 的端点拒绝 developer role | 4Source: DeepSeek Harness 公开讨论样本 |
MVP 只做 Harness 特有的最后一公里
- 安全预检。 在发送任何请求前显示将测试的字段、最大请求数与预计 token 上限;密钥只在内存中使用。
- 差分探测。 对
developer/system、max_tokens/max_completion_tokens、stream_options、store、reasoning_effort等做最小成对实验。 - 生成最小配置。 每个建议都附成功/失败证据,只输出必要字段,不堆砌“万能配置”。
- 先预览再应用。 展示设置差异,保存旧值;用户确认后才写入。
- 真实 Harness 复验。 用 DSH 自身运行时发出最小请求;失败则自动恢复旧设置。
- 明确能力边界。 对自定义认证头、核心适配器字段或其他插件无法修复的问题,只生成上游问题证据,不假装已经解决。
产品名采用 DSH Provider Passport,遵守官方品牌规范:项目名只用 DSH 缩写,并明确第三方身份。
私有候选的安全与契约测试已通过
9Source: DSH Provider Passport 私有候选测试 项自动测试全部通过。 覆盖最小配置建议、敏感信息脱敏、只修改选中模型、真实运行时验证、取消、严格网关阻断和新版设置槽位契约。探测最多发送 10Source: DSH Provider Passport 私有候选测试 次固定请求,每次最多 1Source: DSH Provider Passport 私有候选测试 个输出 token、单次最多等待 12Source: DSH Provider Passport 私有候选测试 秒;取消不会写入设置。
同一打包插件已跨稳定候选与最新 alpha 闭环
干净的 DSH 0.1.1-rc.2Source: DSH Provider Passport 真实 Bundle 闭环测试(npm 默认)与 0.1.2-alpha.4Source: DSH Provider Passport 真实 Bundle 闭环测试(最新 alpha)Web Profile 都能安装并加载同一份插件。 严格网关触发三个可解释差异,插件生成 maxTokensField、supportsDeveloperRole 与 supportsUsageInStreaming 的最小建议;应用后由真实 Harness LLM 运行时验证成功,再由同一界面恢复旧配置。验证失败路径会自动回滚。
真实界面检查发现了测试层遗漏,并已修复
最初服务端接口可用,但插件卡片没有出现在设置页。 原因是新版插件配置页按设置命名空间分派卡片,而不是按插件 id。修正注册键并加入回归测试后,npm 默认 rc.2Source: DSH Provider Passport 真实设置页验证截图 与最新 alpha.4Source: DSH Provider Passport 真实设置页验证截图 真实界面均已跑通确认、预检、建议、应用、验证、取消与恢复。成功状态、危险操作锁定和一键恢复都能在 Harness 原有设计语言中被清楚识别。
下一阶段只剩一个发布硬门槛和两个产品问题
- 发布硬门槛: 一个真实第三方网关是否能稳定复现至少一种请求方言失败,并被最小配置修复?
- 与能力探测、健康监控插件的连接点应该是共享接口、导入结果,还是仅保持清晰分工?
- 当探测无法修复问题时,怎样生成最有利于官方维护者处理的脱敏最小复现?
凭据只在内存使用、固定请求、真实 DSH 复验、自动回滚、显式恢复和可取消流程均已由当前候选实现回答。
Caveats and assumptions
- 三个请求方言场景使用确定性的本地网关,证明的是因果机制与 Harness 行为,不代表市场发生率。
- 当前界面检查覆盖 Windows 桌面 Web Profile、语义标签和关键状态;尚未完成真实手机、Safari、Firefox 或触屏认证。
- 真实 DeepSeek 与 SiliconFlow 试验验证了探测分层的重要性,但当前
dsh-llm-pi-ai已处理 SiliconFlow 的空 continuation,因此那条原始修复方向已被淘汰。 - 社区讨论是公开技术证据,不是用户规模抽样;部分讨论可能已被上游版本修复。
- 生态项目创建和更新很快,公开发布前必须再次查重。
- 评分包含产品判断,不应被解释成统计显著性。
Sources
- 真实 Harness 请求方言差分实验
确定性本地网关、CompatCanary 通用控制、默认与推荐配置的真实 Harness 进程对照。
SQL query
SELECT * FROM (VALUES ('旧式 OpenAI 方言','通用控制',1,1,1.0),('旧式 OpenAI 方言','Harness 默认',0,1,0.0),('旧式 OpenAI 方言','最小建议',1,1,1.0),('不接受 store','通用控制',1,1,1.0),('不接受 store','Harness 默认',0,1,0.0),('不接受 store','最小建议',1,1,1.0),('不接受 reasoning_effort','通用控制',1,1,1.0),('不接受 reasoning_effort','Harness 默认',0,1,0.0),('不接受 reasoning_effort','最小建议',1,1,1.0)) AS t(scenario, configuration, passed, total, passRate) - 产品机会评分与门槛
基于实测、官方文档、社区讨论与替代品边界的五维判断。
SQL query
SELECT * FROM (VALUES ('痛点强度',5,'错误延迟到真实任务,用户难以定位'),('受众广度',4,'适用于自定义网关、自托管与企业代理用户'),('差异化',4,'现有工具未连接 DSH 方言、配置生成与复验'),('插件可实现性',4,'设置、凭据和运行时已有社区插件先例;核心限制只能报告'),('官方价值',5,'可沉淀为上游 Test connection / preflight 设计')) AS t(dimension, score, evidence) - DeepSeek Harness 官方自定义提供方指南
- alpha.3 自定义提供方表单实操截图
- DSH Provider Passport 私有候选测试
- DSH Provider Passport 真实 Bundle 闭环测试
- DSH Provider Passport 真实设置页验证截图
- GitHub 生态项目查重
核对项目定位、许可证、当前 README 和更新状态,并按任务边界比较。
SQL query
SELECT * FROM (VALUES ('CompatCanary','通用 OpenAI 兼容扫描','不理解 DSH 适配器配置,也不走 Harness 运行时',0.45),('CedarDSH Model Probe','推理等级与图片能力探测','不诊断角色、token、store、stream 等请求方言',0.30),('Jiayz00/dsh-model-probe','目录/家族规则补全模型能力','不是主动请求方言预检',0.25),('AGSQ11/dsh-model-probe','模型 Alive/Dead 健康监控','不隔离失败字段,不生成最小兼容配置',0.30),('dsh-polyglot','替代适配器、预设与故障转移','绕开官方自定义路由,而非诊断并修好它',0.35),('dsh-byok','轻量 BYOK 与代理路由','不做 pi-ai 方言诊断',0.20),('dsh-llm-newapi','NewAPI 专用适配器和模型页','供应商专用,不是通用 DSH 预检',0.25)) AS t(project, job, missing, overlap) - DeepSeek Harness 公开讨论样本
逐条读取标题、类别、评论数与当前元数据,用于识别问题族。
SQL query
SELECT * FROM (VALUES (5306,'模型发现','模型列表陈旧或未从端点刷新',0),(5294,'认证/发现','模型发现无法携带企业网关自定义请求头',0),(5293,'严格网关','额外请求字段导致第三方网关拒绝',0),(5257,'认证传输','Bearer 与协议原生请求头缺少扩展面',0),(5051,'推理配置','第三方模型缺少推理等级配置入口',4),(4887,'能力声明','第三方模型无法在界面声明多模态',1),(4817,'提供方保存','升级后添加第三方提供方无响应',4),(4745,'推理重放','跨提供方重放缺失 reasoning_content',5),(3685,'输出上限','max token 字段与截断反馈不清晰',1),(2540,'工具流','空 id/name continuation 造成 unknown tool',3),(2007,'角色方言','仅支持 system 的端点拒绝 developer role',4)) AS t(number, theme, signal, comments)