Data Analytics report

DSH Provider Passport:从真实失败中筛出的产品机会

基于 DeepSeek Harness npm 默认版与最新 alpha 版实操、真实运行对照、社区查重与产品门槛的决策报告。

截至 2026 年 9 月 2 日的实验、生态扫描与私有候选验证。

Executive Summary

  • 产品机会已从构想推进到私有发布候选。 它不是另一个通用 OpenAI 接口测试器,而是为 Harness 的自定义模型接入补上“确认成本与隐私 → 识别请求方言 → 生成最小配置 → 真实 Harness 验证 → 可回滚应用”的闭环。
  • 痛点与修复均由真实 Harness 路径证明。 三类网关限制都通过了通用兼容检查,但 Harness 默认配置为 0/3;加入最小 compat 配置后为 3/3,同一打包插件在 npm 默认 0.1.1-rc.2 与最新 0.1.2-alpha.4 Web Profile 中完成安装、应用、复验与恢复。
  • 查重边界仍然成立。 通用扫描器、模型能力探测、模型健康监控和替代适配器各自解决一段问题,但没有把 DSH 请求方言诊断、配置生成与运行时复验连成闭环。
  • 仍不建议立即公开。 本地确定性实验已经证明因果和实现质量;公开前还需一个真实第三方故障端点,避免把模拟网关行为误当成市场验证。

这个方向达到开发门槛,但还没有达到公开发布门槛

产品机会评分为 22/25。高分来自问题强度和官方价值;扣分主要来自真实失败端点样本仍少,以及插件只能诊断、不能修复某些核心层限制。内部开发门槛设为 20/25,且必须同时满足“真实 Harness 可复现”和“无高重合替代品”。

产品机会评分
产品机会评分 data
维度得分依据
痛点强度5/5错误延迟到真实任务,用户难以定位
受众广度4/5适用于自定义网关、自托管与企业代理用户
差异化4/5现有工具未连接 DSH 方言、配置生成与复验
插件可实现性4/5设置、凭据和运行时已有社区插件先例;核心限制只能报告
官方价值5/5可沉淀为上游 Test connection / preflight 设计

通用测试说“能用”,真实 Harness 却失败

这正是产品成立的关键差异。实验复用了 CompatCanary 的 5 项通用检查,没有重写现有能力;随后让同一端点进入实际打包版 Harness。每个场景中,通用控制均为 5/5,通过;Harness 默认请求均失败;最小配置建议均恢复成功。

三类请求方言的通过结果
三类请求方言的通过结果 data
网关限制通过率运行方式通过数总数
旧式 OpenAI 方言100%通用控制11
旧式 OpenAI 方言0%Harness 默认01
旧式 OpenAI 方言100%最小建议11
不接受 store100%通用控制11
不接受 store0%Harness 默认01
不接受 store100%最小建议11
不接受 reasoning_effort100%通用控制11
不接受 reasoning_effort0%Harness 默认01
不接受 reasoning_effort100%最小建议11

当前自定义模型接入把失败推迟到了第一次工作

  1. 添加自定义提供方 — 黄。 表单可填写地址、协议、密钥与模型,但没有“测试连接”。
  2. 获取模型 — 黄。 主要依赖 OpenAI 风格的 GET /models;企业网关自定义请求头等条件无法在当前表单里表达。
  3. 保存配置 — 黄。 界面不暴露常见请求方言开关,也不会验证真实生成请求。
  4. 第一次聊天或工具调用 — 红。 用户此时才看到 400、空输出或工具错误,却难以判断是密钥、模型、网关还是请求形状。
  5. 手工查文档并编辑 YAML — 红。 官方文档明确给出 supportsDeveloperRolemaxTokensField 等修正,但普通用户很难从报错反推字段。
  6. 修改后重新建会话验证 — 绿。 专家可以完成,但缺少面向大众的证据、预览与回滚闭环。

这不是“安装包”问题,而是把专业协议知识暴露给了第一次接入模型的用户。

站在现有工具上开发,边界仍然清晰

候选产品应直接复用 CompatCanary 的通用探测,并尊重已有 DSH 插件的边界。下表中的项目都值得借鉴或连接,但都不等价于“为官方自定义提供方生成可验证的 DSH 兼容护照”。

现有方案边界

Source: GitHub 生态项目查重

核对项目定位、许可证、当前 README 和更新状态,并按任务边界比较。

现有方案边界
项目主要工作与候选产品的缺口重合度(判断)
CompatCanary通用 OpenAI 兼容扫描不理解 DSH 适配器配置,也不走 Harness 运行时45%Source: GitHub 生态项目查重
dsh-polyglot替代适配器、预设与故障转移绕开官方自定义路由,而非诊断并修好它35%Source: GitHub 生态项目查重
CedarDSH Model Probe推理等级与图片能力探测不诊断角色、token、store、stream 等请求方言30%Source: GitHub 生态项目查重
AGSQ11/dsh-model-probe模型 Alive/Dead 健康监控不隔离失败字段,不生成最小兼容配置30%Source: GitHub 生态项目查重
Jiayz00/dsh-model-probe目录/家族规则补全模型能力不是主动请求方言预检25%Source: GitHub 生态项目查重
dsh-llm-newapiNewAPI 专用适配器和模型页供应商专用,不是通用 DSH 预检25%Source: GitHub 生态项目查重
dsh-byok轻量 BYOK 与代理路由不做 pi-ai 方言诊断20%Source: GitHub 生态项目查重

社区证据覆盖的是一族问题,不是一个孤立报错

已逐条核对 11 个公开讨论,涉及角色、token 字段、推理字段重放、模型发现、自定义请求头、能力声明和工具流。它们不能被当作 11 个独立用户,也不代表每个问题仍未解决;它们的价值在于证明“自定义提供方接入失败”有多个重复出现的技术根因。

公开讨论样本

Source: DeepSeek Harness 公开讨论样本

逐条读取标题、类别、评论数与当前元数据,用于识别问题族。

公开讨论样本
讨论问题族可转化的产品信号评论
5,306Source: DeepSeek Harness 公开讨论样本模型发现模型列表陈旧或未从端点刷新0Source: DeepSeek Harness 公开讨论样本
5,294Source: DeepSeek Harness 公开讨论样本认证/发现模型发现无法携带企业网关自定义请求头0Source: DeepSeek Harness 公开讨论样本
5,293Source: DeepSeek Harness 公开讨论样本严格网关额外请求字段导致第三方网关拒绝0Source: DeepSeek Harness 公开讨论样本
5,257Source: DeepSeek Harness 公开讨论样本认证传输Bearer 与协议原生请求头缺少扩展面0Source: DeepSeek Harness 公开讨论样本
5,051Source: DeepSeek Harness 公开讨论样本推理配置第三方模型缺少推理等级配置入口4Source: DeepSeek Harness 公开讨论样本
4,887Source: DeepSeek Harness 公开讨论样本能力声明第三方模型无法在界面声明多模态1Source: DeepSeek Harness 公开讨论样本
4,817Source: DeepSeek Harness 公开讨论样本提供方保存升级后添加第三方提供方无响应4Source: DeepSeek Harness 公开讨论样本
4,745Source: DeepSeek Harness 公开讨论样本推理重放跨提供方重放缺失 reasoning_content5Source: DeepSeek Harness 公开讨论样本
3,685Source: DeepSeek Harness 公开讨论样本输出上限max token 字段与截断反馈不清晰1Source: DeepSeek Harness 公开讨论样本
2,540Source: DeepSeek Harness 公开讨论样本工具流空 id/name continuation 造成 unknown tool3Source: DeepSeek Harness 公开讨论样本
2,007Source: DeepSeek Harness 公开讨论样本角色方言仅支持 system 的端点拒绝 developer role4Source: DeepSeek Harness 公开讨论样本

MVP 只做 Harness 特有的最后一公里

  1. 安全预检。 在发送任何请求前显示将测试的字段、最大请求数与预计 token 上限;密钥只在内存中使用。
  2. 差分探测。developer/systemmax_tokens/max_completion_tokensstream_optionsstorereasoning_effort 等做最小成对实验。
  3. 生成最小配置。 每个建议都附成功/失败证据,只输出必要字段,不堆砌“万能配置”。
  4. 先预览再应用。 展示设置差异,保存旧值;用户确认后才写入。
  5. 真实 Harness 复验。 用 DSH 自身运行时发出最小请求;失败则自动恢复旧设置。
  6. 明确能力边界。 对自定义认证头、核心适配器字段或其他插件无法修复的问题,只生成上游问题证据,不假装已经解决。

产品名采用 DSH Provider Passport,遵守官方品牌规范:项目名只用 DSH 缩写,并明确第三方身份。

私有候选的安全与契约测试已通过

9Source: DSH Provider Passport 私有候选测试File: research/dsh-provider-passport/test 项自动测试全部通过。 覆盖最小配置建议、敏感信息脱敏、只修改选中模型、真实运行时验证、取消、严格网关阻断和新版设置槽位契约。探测最多发送 10Source: DSH Provider Passport 私有候选测试File: research/dsh-provider-passport/test 次固定请求,每次最多 1Source: DSH Provider Passport 私有候选测试File: research/dsh-provider-passport/test 个输出 token、单次最多等待 12Source: DSH Provider Passport 私有候选测试File: research/dsh-provider-passport/test 秒;取消不会写入设置。

Source: DSH Provider Passport 私有候选测试File: research/dsh-provider-passport/test

同一打包插件已跨稳定候选与最新 alpha 闭环

干净的 DSH 0.1.1-rc.2Source: DSH Provider Passport 真实 Bundle 闭环测试File: research/dsh-provider-passport/test/harness-plugin-e2e.js(npm 默认)与 0.1.2-alpha.4Source: DSH Provider Passport 真实 Bundle 闭环测试File: research/dsh-provider-passport/test/harness-plugin-e2e.js(最新 alpha)Web Profile 都能安装并加载同一份插件。 严格网关触发三个可解释差异,插件生成 maxTokensFieldsupportsDeveloperRolesupportsUsageInStreaming 的最小建议;应用后由真实 Harness LLM 运行时验证成功,再由同一界面恢复旧配置。验证失败路径会自动回滚。

Source: DSH Provider Passport 真实 Bundle 闭环测试File: research/dsh-provider-passport/test/harness-plugin-e2e.js

真实界面检查发现了测试层遗漏,并已修复

最初服务端接口可用,但插件卡片没有出现在设置页。 原因是新版插件配置页按设置命名空间分派卡片,而不是按插件 id。修正注册键并加入回归测试后,npm 默认 rc.2Source: DSH Provider Passport 真实设置页验证截图File: research/dsh-provider-passport/docs/screenshots/08-alpha4-applied-and-verified.png 与最新 alpha.4Source: DSH Provider Passport 真实设置页验证截图File: research/dsh-provider-passport/docs/screenshots/08-alpha4-applied-and-verified.png 真实界面均已跑通确认、预检、建议、应用、验证、取消与恢复。成功状态、危险操作锁定和一键恢复都能在 Harness 原有设计语言中被清楚识别。

Source: DSH Provider Passport 真实设置页验证截图File: research/dsh-provider-passport/docs/screenshots/08-alpha4-applied-and-verified.png

下一阶段只剩一个发布硬门槛和两个产品问题

  • 发布硬门槛: 一个真实第三方网关是否能稳定复现至少一种请求方言失败,并被最小配置修复?
  • 与能力探测、健康监控插件的连接点应该是共享接口、导入结果,还是仅保持清晰分工?
  • 当探测无法修复问题时,怎样生成最有利于官方维护者处理的脱敏最小复现?

凭据只在内存使用、固定请求、真实 DSH 复验、自动回滚、显式恢复和可取消流程均已由当前候选实现回答。

Caveats and assumptions

  • 三个请求方言场景使用确定性的本地网关,证明的是因果机制与 Harness 行为,不代表市场发生率。
  • 当前界面检查覆盖 Windows 桌面 Web Profile、语义标签和关键状态;尚未完成真实手机、Safari、Firefox 或触屏认证。
  • 真实 DeepSeek 与 SiliconFlow 试验验证了探测分层的重要性,但当前 dsh-llm-pi-ai 已处理 SiliconFlow 的空 continuation,因此那条原始修复方向已被淘汰。
  • 社区讨论是公开技术证据,不是用户规模抽样;部分讨论可能已被上游版本修复。
  • 生态项目创建和更新很快,公开发布前必须再次查重。
  • 评分包含产品判断,不应被解释成统计显著性。

Sources

  1. 真实 Harness 请求方言差分实验research/dsh-provider-compat-lab/src/harness-e2e.ts · DuckDB over reviewed Harness experiment rows · 2026-09-01T12:00:00Z

    确定性本地网关、CompatCanary 通用控制、默认与推荐配置的真实 Harness 进程对照。

    SQL query
    SELECT * FROM (VALUES ('旧式 OpenAI 方言','通用控制',1,1,1.0),('旧式 OpenAI 方言','Harness 默认',0,1,0.0),('旧式 OpenAI 方言','最小建议',1,1,1.0),('不接受 store','通用控制',1,1,1.0),('不接受 store','Harness 默认',0,1,0.0),('不接受 store','最小建议',1,1,1.0),('不接受 reasoning_effort','通用控制',1,1,1.0),('不接受 reasoning_effort','Harness 默认',0,1,0.0),('不接受 reasoning_effort','最小建议',1,1,1.0)) AS t(scenario, configuration, passed, total, passRate)
  2. 产品机会评分与门槛research/dsh-provider-compat-lab/docs/EXPERIMENT_2026-09-01.md · DuckDB over reviewed product-assessment rows · 2026-09-01T12:00:00Z

    基于实测、官方文档、社区讨论与替代品边界的五维判断。

    SQL query
    SELECT * FROM (VALUES ('痛点强度',5,'错误延迟到真实任务,用户难以定位'),('受众广度',4,'适用于自定义网关、自托管与企业代理用户'),('差异化',4,'现有工具未连接 DSH 方言、配置生成与复验'),('插件可实现性',4,'设置、凭据和运行时已有社区插件先例;核心限制只能报告'),('官方价值',5,'可沉淀为上游 Test connection / preflight 设计')) AS t(dimension, score, evidence)
  3. DeepSeek Harness 官方自定义提供方指南
  4. alpha.3 自定义提供方表单实操截图research/dsh-opportunity-discovery/audit/05-custom-provider-form.png
  5. DSH Provider Passport 私有候选测试research/dsh-provider-passport/test
  6. DSH Provider Passport 真实 Bundle 闭环测试research/dsh-provider-passport/test/harness-plugin-e2e.js
  7. DSH Provider Passport 真实设置页验证截图research/dsh-provider-passport/docs/screenshots/08-alpha4-applied-and-verified.png
  8. GitHub 生态项目查重DuckDB over reviewed GitHub repository rows · 2026-09-01T12:00:00Z

    核对项目定位、许可证、当前 README 和更新状态,并按任务边界比较。

    SQL query
    SELECT * FROM (VALUES ('CompatCanary','通用 OpenAI 兼容扫描','不理解 DSH 适配器配置,也不走 Harness 运行时',0.45),('CedarDSH Model Probe','推理等级与图片能力探测','不诊断角色、token、store、stream 等请求方言',0.30),('Jiayz00/dsh-model-probe','目录/家族规则补全模型能力','不是主动请求方言预检',0.25),('AGSQ11/dsh-model-probe','模型 Alive/Dead 健康监控','不隔离失败字段,不生成最小兼容配置',0.30),('dsh-polyglot','替代适配器、预设与故障转移','绕开官方自定义路由,而非诊断并修好它',0.35),('dsh-byok','轻量 BYOK 与代理路由','不做 pi-ai 方言诊断',0.20),('dsh-llm-newapi','NewAPI 专用适配器和模型页','供应商专用,不是通用 DSH 预检',0.25)) AS t(project, job, missing, overlap)
  9. DeepSeek Harness 公开讨论样本DuckDB over reviewed GitHub Discussion rows · 2026-09-01T12:00:00Z

    逐条读取标题、类别、评论数与当前元数据,用于识别问题族。

    SQL query
    SELECT * FROM (VALUES (5306,'模型发现','模型列表陈旧或未从端点刷新',0),(5294,'认证/发现','模型发现无法携带企业网关自定义请求头',0),(5293,'严格网关','额外请求字段导致第三方网关拒绝',0),(5257,'认证传输','Bearer 与协议原生请求头缺少扩展面',0),(5051,'推理配置','第三方模型缺少推理等级配置入口',4),(4887,'能力声明','第三方模型无法在界面声明多模态',1),(4817,'提供方保存','升级后添加第三方提供方无响应',4),(4745,'推理重放','跨提供方重放缺失 reasoning_content',5),(3685,'输出上限','max token 字段与截断反馈不清晰',1),(2540,'工具流','空 id/name continuation 造成 unknown tool',3),(2007,'角色方言','仅支持 system 的端点拒绝 developer role',4)) AS t(number, theme, signal, comments)