---
source: wechat
source_url: https://mp.weixin.qq.com/s/1PBEzM0WHHVyNGoFBlQ6gQ
ingested: 2026-07-05
feed_name: NVIDIA英伟达
wechat_mp_fakeid: MP_WXS_2390983078
source_published: 2026-07-01
sha256: 98d05a7a7e8e92e8a89180713c25a0319dc83d58681ac778d34c41982d28412c
---

# NVIDIA 推理软件栈如何助力实现更低 Token 成本

---
source: wechat
source_url: https://mp.weixin.qq.com/s/1PBEzM0WHHVyNGoFBlQ6gQ
ingested: 2026-07-05
source_published: 2026年7月1日 18:38
---

# NVIDIA 推理软件栈如何助力实现更低 Token 成本

**Baseten、Cognition、Deep Infra、DigitalOcean、Hippocratic AI、Together AI 和 Cursor 正从 NVIDIA 的软件和开源生态系统中获得复利价值。**

  


  


随着企业从 AI 试点转向生产型 AI 工厂，基础设施的决策核心已从芯片峰值规格转向每 Token 成本：即每美元、每瓦特以及在规定的延迟目标内能够交付多少有用的 Token。

  


NVIDIA 的全栈推理软件与 NVIDIA GPU、CPU、网络和系统协同设计，并在广泛的开源生态系统支持下，持续提升硬件性能。在 NVIDIA Blackwell 平台上，该软件栈仅在一个月内就已经将 DeepSeek V4 模型的 Token 成本降低至原来的五分之一。

  


领先的企业与推理服务提供商已经看到了 NVIDIA 推理软件栈在 Blackwell 上带来的复利价值：

  


  * **Baseten：** 使用 NVIDIA TensorRT LLM 开源库在 Blackwell GPU 上运行 DeepSeek V4 Pro，用于推理、编码和长上下文工作负载，并应用专有的运行时优化，将每秒生成的 Token 数量提升了高达 50%。

  


  * **Cognition：** 正在使用 NVIDIA Dynamo 推理框架来管理推理 GPU，为其团队提供了一条现成的路径，无需从头开始构建基础设施即可扩展强化学习工作负载。

  


  * **Deep Infra：** 使用 NVIDIA 推理软件栈，从发布首日起便在 Blackwell 上高效提供包括 DeepSeek V4 在内的前沿开源模型服务。

  


  * **DigitalOcean：** 协助 Hippocratic AI 在 Blackwell GPU 上使用 NVIDIA 推理软件，更快捷且高效地提供医疗 AI 服务。此举不仅将推理吞吐量提升了 30%，更在高达 1,000 万次的患者呼叫中，将首次响应时间维持在半秒以内。

  


  * **Together AI：** 在 Blackwell 上使用 NVIDIA TensorRT LLM，帮助 Cursor 加速从模型优化到生产端点的路径，以实现实时编码体验。

  


以上为摘要内容，请点击“**阅读原文** ”或**扫描下方二维码** 阅读完整内容：