--- description: "把蚂蚁数科 MaaS 与 NVIDIA NIM 流式模型路由安装进 DeepSeek Harness profile,不增加额外 HTTP 代理。" kind: "package-bundle" --- # dsh-cloud-model-providers [English](README.md) | 中文 ## 概要 这个 bundle 为基于 `dsh-base` 的 [DeepSeek Harness](https://github.com/deepseek-ai/deepseek-harness) profile 添加蚂蚁数科 MaaS 与 NVIDIA NIM 模型路由。它复用 DSH 已经交付的 `llm-pi-ai` 适配器,因此 Chat Completions、Responses、SSE 流式输出、工具调用、usage、取消和凭据处理继续走 DSH 的维护路径。这个包只包含声明式 profile patch:从 GitHub 安装时不执行包构建脚本,也不保存 API key。 ## 目录 - [使用这个包](#使用这个包) - [Provider 路由](#provider-路由) - [验证流式输出](#验证流式输出) - [理解实现](#理解实现) - [延伸阅读](#延伸阅读) - [模型体验](#模型体验) - [已知限制与延期工作](#已知限制与延期工作) - [开发备注](#开发备注) ----- ## 使用这个包 把 bundle 安装进现有的 `web` 或 `headless` profile,通过 DSH 或启动环境提供凭据,然后选择新增路由。 ### 安装进 profile ```sh dsh plugin --profile web add github:BitDG/dsh-cloud-model-providers ``` 这条命令安装本仓库并激活它声明的 `cordis.patch.yml` 层。使用下面的命令同时移除配置层和依赖: ```sh dsh plugin --profile web remove dsh-cloud-model-providers ``` 这个 bundle 要求 profile 基于 `dsh-base`,因为它会替换 `@deepseek-ai/dsh-base` 提供的休眠 `llm-pi-ai` 配置行。不启动应用即可确认配置层: ```sh dsh --profile web --dump-config ``` 输出会在配置后的 `llm-pi-ai` 行上方包含 `# == @deepseek-ai/dsh-base, patched by dsh-cloud-model-providers`。 ### 提供凭据 可以使用 Web 的 Models 设置页保存凭据,也可以在启动 DSH 前导出 bundle 使用的凭据引用: ```sh export MAAS_API_KEY='replace-with-your-key' export NVIDIA_API_KEY='replace-with-your-key' ``` PowerShell 使用 `$env:MAAS_API_KEY` 和 `$env:NVIDIA_API_KEY`。不要把任何密钥写进 `cordis.patch.yml`、Git、日志、截图或 issue。 ### 选择模型 Bundle 加载后,Web Models 页面会显示三个 provider 路由。Headless profile 可以在自己的后置 `cordis.patch.yml` 层中选择默认模型: ```yaml - id: agent-default-model config: provider: ant-maas-responses model: lingdt-3.0-flash ``` 同一配置行也可以选择 `ant-maas-chat/qwen3.6-plus` 或 `nvidia` 目录中的模型。 ----- ## Provider 路由 | 路由 | 协议 | 端点 | 凭据 | 初始模型来源 | |---|---|---|---|---| | `ant-maas-responses` | 基于 SSE 的 OpenAI Responses | `https://maas-api.antdigital.com/v1/responses` | `MAAS_API_KEY` | `lingdt-3.0-flash` | | `ant-maas-chat` | 基于 SSE 的 OpenAI Chat Completions | `https://maas-api.antdigital.com/v1/chat/completions` | `MAAS_API_KEY` | `qwen3.6-plus` | | `nvidia` | 由目录定义的 OpenAI Chat Completions over SSE | `https://integrate.api.nvidia.com/v1/chat/completions` | `NVIDIA_API_KEY` | 已安装 pi-ai 的 NVIDIA 目录 | MaaS 按模型分配协议支持。把文档明确支持 Responses 的模型放在 `ant-maas-responses`,把 Chat Completions 模型放在 `ant-maas-chat`;同一个 DSH provider 路由不能在每次请求时切换 wire protocol。Models 页面可以查询 OpenAI 兼容的 `/v1/models` 端点,但发现模型不能证明每个返回模型都支持 Responses、工具、图片或推理控制。 NVIDIA 路由从已安装 DSH 版本中的 pi-ai 目录继承端点细节、模型元数据、兼容性开关和必需 header。这个 bundle 只覆盖显示名称、凭据引用和显式 SSE transport。 ----- ## 验证流式输出 无密钥测试会启动本地 data-only SSE 端点,并让三个路由经过已发布的 DSH `LlmRuntime` 与 `llm-pi-ai` 适配器。测试会验证请求路径、`stream: true`、Bearer 认证、增量文本、usage 和终止事件顺序。 ```sh pnpm install pnpm test pnpm run typecheck ``` 真实接口测试单独执行,因为每个请求都会使用平台额度。缺少某个平台凭据时,该平台测试会跳过;在线模型目录变化时,可以覆盖模型: ```sh MAAS_API_KEY='...' NVIDIA_API_KEY='...' pnpm run test:e2e ``` 使用 `DSH_MAAS_MODEL` 或 `DSH_NVIDIA_NIM_MODEL` 覆盖真实测试默认模型。无密钥测试通过只能证明 DSH 协议集成;只有真实测试通过才能证明所选账号、端点和模型当时可用。 ----- ## 理解实现
实现细节——点击展开 这个包在 [`package.json`](package.json) 中声明 `dsh.bundle.patch`。DSH 会在所选 profile 的现有 bundle 层之后应用 [`cordis.patch.yml`](cordis.patch.yml),该 patch 会替换 `llm-pi-ai` 行的完整配置。适配器为每次请求解析 `MAAS_API_KEY` 或 `NVIDIA_API_KEY`,并把 provider SSE 事件转换为 DSH stream chunk;本仓库不拥有网络客户端或凭据存储。 | 路径 | 职责 | |---|---| | [`cordis.patch.yml`](cordis.patch.yml) | Provider 身份、协议、端点、凭据引用和 SSE 偏好 | | [`tests/bundle.spec.ts`](tests/bundle.spec.ts) | Bundle 注册以及无密钥 Chat/Responses 流式行为 | | [`tests/live.e2e.spec.ts`](tests/live.e2e.spec.ts) | 使用凭据调用两个在线平台 |
----- ## 延伸阅读 - [蚂蚁数科 MaaS 快速接入](https://maas.antdigital.com/dt-maas-docs/quick-access)——Chat Completions 端点与认证。 - [蚂蚁数科 MaaS Codex 指南](https://maas.antdigital.com/dt-maas-docs/agent-guides/codex)——Responses 兼容配置。 - [蚂蚁数科 MaaS 支持模型](https://maas.antdigital.com/dt-maas-docs/intro/supported-models)——当前模型与协议可用性。 - [NVIDIA NIM API 参考](https://docs.nvidia.com/nim/large-language-models/latest/api-reference.html)——OpenAI 兼容端点与流式行为。 - [DeepSeek Harness 打包教程](https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/user/develop/basic/publish.md)——Bundle 安装与配置层顺序。 ----- ## 模型体验 间接。这个 bundle 选择模型 provider,但不增加任何模型可见的 prompt、工具、命令或 transcript 内容。`@deepseek-ai/dsh-llm-pi-ai` 拥有 provider 转换和流式模型输出。 ## 已知限制与延期工作 - MaaS 模型可用性和协议支持可能独立于本仓库变化;请根据官方目录核对所选模型。 - 预配置 MaaS 模型列表有意保持精简。只有确认协议与容量后,才通过 DSH 设置添加其他模型。 - 真实 API 测试需要用户自己的凭据并消耗平台额度;CI 只运行无密钥协议测试。 - 这个 bundle 配置托管 API,不部署自托管 NVIDIA NIM 容器。 - 后置 profile patch 或 `llm-pi-ai` 设置节可以替换 bundle 的完整 provider 配置。 ### 开发备注
维护者工作上下文——点击展开 无。