实时 Token 吞吐量
+18.4%
48,920 tok/s
峰值出现在 10:15,主要由 Gemini-4 与 DeepSeek-V3.2 产生
实时监控多节点 GPU 利用率、Token 吞吐速率与成本分布。支持毫秒级弹性扩缩容与一键模型量化部署。
峰值出现在 10:15,主要由 Gemini-4 与 DeepSeek-V3.2 产生
P95 延迟保持在 240ms 以内,KV Cache 命中率 89%
闲时自动降配策略已为您节省约 $412.00
点击任意元素,试试添加一条修改批注
| 端点名称 | 绑定模型 | GPU 规格 | 副本数 | QPS / 吞吐 | 状态 | 操作 |
|---|---|---|---|---|---|---|
| prod-deepseek-r2 | DeepSeek-R2-671B | 8x NVIDIA H200 | 4 节点 | 142 req/s | 运行中 | |
| prod-gemini-argon | Gemini-4-Argon | Vertex TPU v5p | 自动弹性 | 98 req/s | 运行中 | |
| staging-vision-ocr | Qwen3-VL-72B | 4x NVIDIA A100 | 1 节点 | 19 req/s | 高负载预警 |