Strata Manager 标识

Strata Manager

面向 Strata 本地推理的桌面工作台。
准备运行环境,管理模型与服务,掌握本机 API 的运行情况。

官网 · 文档中心 · 系统说明 · 下载 · 排行榜 · 更新日志 · English

MIT 许可 Tauri 2 桌面应用 Windows 和 Linux x64;macOS Apple Silicon 构建与测试状态

**Strata Manager 是面向 [Niko1221/Strata 本地大模型推理引擎](https://github.com/Niko1221/Strata) 的开源桌面管理工具。** 将首次上手引导、模型下载与跨 Strata 版本的配置管理、服务控制、聊天、API 与 Agent 接入及在线验证、用量统计、监控、调优,以及可选上传公开排行榜的基准测试集中到同一工作台,降低 Strata 的使用门槛。已有受支持的模型权重保持原位。 **支持 Strata 0.2.0**:可一键安装、更新其签名的 `.tar.gz` 引擎包,Windows 与 Linux x86_64(v0.2.9 起)均可,Apple 芯片 Mac 一键安装上游预编译 Metal 引擎;新引擎先试启动,失败自动回滚。旧版 ZIP 发布仍可使用。 [![Strata Manager 总览:服务操作栏、GPU 与系统内存占用图、生成速度和最近请求](docs/screenshots/product-cover.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/product-cover.zh.webp)

播放 Strata Manager 两分钟介绍视频
两分钟介绍视频 · 在官网观看 · English version

## Strata 是什么,Manager 负责什么? [Strata](https://github.com/Niko1221/Strata) 是开源的本地大模型(LLM)推理引擎,协调 GPU 显存、RAM 和 CPU 资源运行它支持的模型,并提供浏览器界面与本机 API。 | 组成 | 职责 | | --- | --- | | **Strata 运行时** | 加载模型、执行推理并提供 API。模型支持、图像输入与协议取决于已安装引擎和所选模型。 | | **Strata Manager** | 准备与检查运行环境,管理本机模型和跨 Strata 版本的配置,控制服务,接入并验证 API,并提供聊天、用量、监控、调优与基准测试工具。 | | **你的应用** | 连接已启动的本机 API,调用模型能力。 | Manager 是独立社区项目,管理的是**这台电脑**上受支持的 Strata 环境。运行时与模型权重独立安装。 ## 从安装准备到日常使用 依赖引擎的工具会按已安装运行时的能力提供。 | 工作流程 | 可以完成的操作 | | --- | --- | | **1 · 准备 Strata** | 检测已有安装,查看本机与上游版本、官方更新日志。Windows x64 引擎 ZIP 默认使用官方 GitHub,支持 gh-proxy.org / ghproxy.net、自定义 HTTPS 或本地 ZIP,各来源按当前 CUDA12、CUDA13 或 HIP 引擎匹配;中断后保留部分文件并尝试 HTTP Range 续传,完整包仍按官方大小与 SHA256 校验。从 Strata 0.2.0 起,Windows 与 Linux x86_64 都可一键安装签名的 `.tar.gz` 引擎包(按检测到的显卡匹配 CUDA 13/12 或 AMD HIP);新引擎先试启动,失败自动回滚。已经下载好的引擎或 Strata 安装包可以直接安装,不必重新下载。Python 缺失或版本不够时,Windows 安装 python.org 私有版本,macOS 和 glibc Linux 可一键把 Python 3.12 装到应用目录(不需要管理员权限,不改 PATH)。缺少 `regex`、`jinja2` 等依赖时可一键修复,诊断信息可一键复制。首次使用时,“开始使用”引导依次完成检查环境、安装 Strata、选择并下载模型、启动加载和第一次聊天,已完成的步骤会自动识别并跳过。 Windows 上只有 AMD 显卡时,首次安装会按显卡型号选对应的 HIP 引擎包(RX 9000 / R9700 或 RX 7000 / Strix Halo),不再装 CUDA 包;没有官方引擎包的核显会被忽略。macOS 和 Linux 安装 Strata 时会一并装好 Python 依赖,首次向导不再卡在第 2 步。 | | **2 · 整理模型** | 发现本机权重,按模型归并运行配置,选择下载来源与显卡,检查模型文件、GGUF 元数据和磁盘占用。模型目录包含 Qwen3.8-Flash-Next、Swift 1.5(含 IQ3_S)、Coder、Unsloth(最高到 Q8_0)和 Qwen3.6-35B-A3B(需引擎 0.1.45 及以上);社区的 OrcaRouter 去审查版 IQ3_XXS 可以导入,标明社区兼容、仅文本。下载模型列表实时原地更新下载进度、已在本机的模型,以及每个量化版本是否适合这台电脑的内存;我的模型同时显示本机显存与内存容量和每份配置所需内存。多个 Strata 版本共用同一个 `Strata-data` 目录时,每份配置标注所属 Strata 版本,当前版本优先显示,内容相同的副本合并为一行,旧版本配置可以清理到回收区,需要时还能恢复。 已经下载过的 GGUF 可在向导或“下载模型”页通过“使用已有模型”直接选用:检查分片是否齐全、可读,再以 `--gguf-dir` 启动,不必重新下载。模型文件和新安装的引擎可以放到任意磁盘(Strata 页「存储位置」、首次向导或“下载模型”页);已有模型可以一起移过去,先复制并逐字节核对,确认无误后才删除旧文件。 “选择模型”会按上游 Strata 对同一模型和量化的实测,估算本机的生成速度和首 token 时间。新增“官方 / 社区 · 无审查”切换:社区版标注清楚,固定版本并逐个校验 SHA-256,能直接复用本机已下载的相同官方分片,还能从 Hugging Face 自动发现可直接运行的 GGUF;Mac 上跑不了的条目会变灰并写明原因。Mac 上引擎和模型目录的剩余空间也能正确显示了。 | | **3 · 配置与运行** | 通过图形控件或 JSON 编辑配置,校验并保留备份;并发卡片按显存、内存和显卡数量建议同时处理的请求数;上下文最长可选 1M,超过 262K 时自动设置 YaRN(实验性);同型号多卡显示为“2× 显卡型号”,并逐卡列出显存、负载和温度;启动、停止、重启或释放模型内存,查看启动阶段、24 小时任务时间线和日志。在 Windows 检查检测到的运行中服务、模型加载状态、API 地址与配置,连接已有管理后台或托管服务。打开应用或登录时仅启动轻量后台,保留服务停止状态。 启动配置的“默认采样”可以把实验投影设为默认开启、关闭或使用默认设置。 | | **4 · 聊天与接入** | 使用流式会话、附件与结构化输出。聊天历史按服务保存,可搜索、重命名、删除和导出;模型返回思考内容时会显示,采样与思考设置就在输入框旁。新模型默认继承公共生成参数与 MCP 开关,旧模型的专用值保持独立,主动开启继承后才跟随;更改在下一次聊天请求生效。在“API 与外部助手”集中配置连接目标、应用访问密钥、API 示例与 MCP,选择目标不会启动或切换模型。在线验证逐步检查 API,每一步显示状态和耗时,失败时直接给出原因。 回答里的数学公式用 KaTeX 排版(随包自带,不联网);可设置思考长度上限,让模型想到一定长度就开始作答;回答中的 ```` ```html ```` 代码块可以在沙箱里预览,不能联网,也碰不到应用和本机文件。 | | **5 · 查看会话与负载** | 保存和恢复引擎会话,查看每个槽位的速度趋势、负载、硬件及受支持的显存调整。Apple 芯片 Mac 能识别显卡,显示芯片名、GPU 核数和 Metal 版本;统一内存只计算一次,按 GPU 可用量显示。状态面板区分近期生成与输入处理趋势,保留采样缺失点,显示空闲释放后自动载入模型的进度。桌面浮条默认关闭,提供条形(单行/两行)与详细面板两种布局、指标排序与字号配色设置,右键提供导航、置顶和采样等操作,Windows 上可“收起到任务栏监控”。Windows 还可开启“任务栏监控”:在任务栏通知区左侧显示圆环和生成/预填充速度等指标,右键可调整显示内容、圆环指标和每项颜色。Windows 新安装默认开启任务栏监控,可在设置里关闭;升级用户保持原来的选择。只读观察不会启动或恢复服务,快速测速会发送推理请求。 AMD 显卡上,引擎没有给出 GPU 读数时,Manager 会从 AMD 驱动读取负载、显存、温度、功耗、频率和风扇转速(Windows 用 ADLX,Linux 读 amdgpu sysfs)。 | | **6 · 分析用量与调优** | 保留本机 API 元数据,兼容 Strata 0.1.44 的 API 使用统计,先看请求、成功率、失败、Token 与生成速度,再展开趋势、调用来源、请求结果、延迟和缓存复用;一键提速(默认)先体检显存余量与长上下文,再在不重启的前提下实测短回答和长回答,前后对比后另存新配置版本并切换、可随时回滚;高级模式里可按聊天、编程/Agent 或长文任务做场景验收,或把多个并发设置另存为配置版本逐一对比,再决定应用或恢复,不保证固定提速。 | | **7 · 基准测试** | 串行运行核验过的上下文档位或七类场景,或用并发阶梯逐级增加同时请求数,分别记录 Token 数、输入处理与生成速度、首 Token 延迟和资源采样;支持历史报告、JSON/CSV 导出、复制图表和 PNG 导出,并协调其它推理操作。预览并同意后,可将结果匿名分享到 [Benchmark 排行榜](https://strata-manager.cosfoc.com/leaderboard),按同模型、同量化对比不同硬件与启动参数,并为本机推荐参数;随时可以关闭或撤回。 | | **8 · 更新与偏好** | 分别管理应用、Strata 更新和模型权重;Strata 可选择任意上游版本安装(含降级)并固定版本;独立应用更新页提供随包双语日志的离线阅读、稳定更新检查和安装确认,使用 Tauri 签名校验。界面语言可跟随系统或选择十种随包语言;支持跟随系统/亮色/暗色外观和托盘控制。macOS 上使用原生红黄绿窗口按钮和原生菜单栏,常用 Cmd 快捷键可用。部分高级工具和原始服务日志使用英文。 应用更新沿用下载来源设置:选了 GitHub 镜像就先走镜像,否则在官方 GitHub 和内置镜像里测速取最快的,失败回退官方 GitHub,签名校验不变。 | | **9 · 无头运行(Linux,实验)** | 在 Ubuntu 服务器上运行 `strata-manager-server`:同一套界面通过浏览器访问,默认只监听 `127.0.0.1:8787`,首次运行生成访问令牌,附 systemd 服务。安装包为发布页的 `Strata.Manager.Server_<版本>_amd64.tar.gz` / `.deb`,用法见 [docs/SERVER.md](docs/SERVER.md)。 | API 使用统计无需捕获请求正文。可选的临时正文诊断是独立功能,行为与隐私说明见[使用指南](docs/USER_GUIDE.md)。 组件关系和数据保存见[系统说明](docs/SYSTEM.md)。 ## 下载与开始使用 ### 日常工作流程 Strata Manager 提供模型下载列表与详情、统一的多显卡及运行选项、按选择变化的资源评估、启动失败诊断、服务能力四态、聊天请求计时、逐步显示结果的 API 在线验证、用量面板与历史 Benchmark 条件比较。保存设置不会证明当前引擎已生效;缺少证据显示“未核验”,需要重启的选项单独提示。模型未就绪时不会自动启动在线验证。 详见[日常体验说明](docs/DAILY_EXPERIENCE.md)与[验收记录](docs/VERIFICATION.md)。 | 模型下载与资源选择 | API 验证与能力 | | --- | --- | | [![模型目录:实时下载进度、本机适配与资源评估](docs/screenshots/daily-experience/model-download-detail.zh.webp)](docs/screenshots/daily-experience/model-download-detail.zh.webp) | [![当前界面:API 在线验证](docs/screenshots/daily-experience/api-verification.zh.webp)](docs/screenshots/daily-experience/api-verification.zh.webp) | ### 安装包 从[最新发布页](https://github.com/hongfaqiu/strata-manager/releases/latest)或[官网下载区](https://strata-manager.cosfoc.com/#get-started)选择安装包。仅安装所选版本实际提供的文件。 | 平台 | 安装形式 | 准备事项 | | --- | --- | --- | | **Windows x64** | NSIS 安装包(`.exe`) | 需要 WebView2;[Windows 安装说明](docs/DOWNLOAD.md#windows-安装)。 | | **Linux x64** | AppImage 或 DEB | Ubuntu 22.04 CI 环境构建;[Linux 安装与支持范围](docs/DOWNLOAD.md#linux-安装)。 | | **Linux x64 无头 Server(实验)** | `Strata.Manager.Server_<版本>_amd64.tar.gz` 或 `.deb` | 无桌面环境的服务器,浏览器访问;不走桌面自动更新。[Server 说明](docs/SERVER.md)。 | | **macOS Apple Silicon** | DMG | 使用 Developer ID 签名并经 Apple 公证。DMG 本身不含引擎;应用内下载并校验上游预编译 Metal 引擎包,能识别 Apple 显卡与统一内存,并可一键安装 Python 3.12。限制:上游 [#4634](https://github.com/Niko1221/Strata/issues/4634) 修复前引擎固定 0.1.47;Mac 不支持 DeepSeek-V4.1-Flash;不提供 Intel Mac 版。[macOS 说明](docs/DOWNLOAD.md#macosapple-silicon)。 | 1. **准备运行环境。** 打开 Strata 页面检查已有安装,或按“开始使用”引导准备;已有受支持环境无需重装。 2. **选择模型与配置。** “我的模型”列出发现的权重,按需添加搜索目录,选择运行配置或下载新权重。 3. **点击“使用”。** 跟踪环境检查与加载,等待“模型可用”后开始聊天,或将本机 API 地址复制到其它应用。 桌面安装包包含 Manager 与独立后台。硬件和驱动要求取决于 Strata 与模型。已发布安装包面向 Windows x64、Linux x64 与 macOS Apple Silicon。Mac 版 DMG 已签名并经 Apple 公证;**仅有 DMG 不能推理**:可在应用内安装上游预编译 Metal 引擎包(上游 #4634 修复前固定 0.1.47),或按上游 `./setup.sh` 本机构建。Mac 不支持 DeepSeek-V4.1-Flash。macOS 只有自带的 Python 3.9 时,应用可一键安装自用的 Python 3.12。不提供 Intel 包。安装步骤及包的支持范围见[下载说明](docs/DOWNLOAD.md),日常操作见[使用指南](docs/USER_GUIDE.md)。 ## 界面一览 | 模型与运行配置 | 硬件与推理监控 | | --- | --- | | [![我的模型:本机容量、本机权重与每份配置所需内存](docs/screenshots/models.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/models.zh.webp) | [![性能监控:服务、硬件与请求状态](docs/screenshots/monitor.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/monitor.zh.webp) | | 开始使用引导 | 旧版本配置清理 | Benchmark 排行榜 | | --- | --- | --- | | [![开始使用引导:检查环境、安装 Strata、按本机内存选模型、下载与第一次聊天](docs/screenshots/onboarding.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/onboarding.zh.webp) | [![旧版本配置清理:按 Strata 版本列出运行配置,移入可恢复的归档](docs/screenshots/config-cleanup.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/config-cleanup.zh.webp) | [![Benchmark 排行榜:同模型、同量化在不同硬件上的成绩与参数,可筛选、排序并给出调参建议](docs/screenshots/arena.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/arena.zh.webp) |
更多界面:运行环境、聊天、公共设置、连接、更新、基准测试与监控 **Strata · 运行环境版本与更新** [![Strata 运行环境、本机设备与更新](docs/screenshots/runtime.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/runtime.zh.webp) **运行配置 · 图形控件与 JSON** [![运行配置:启动参数与编辑器](docs/screenshots/config.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/config.zh.webp) **API 用量 · 请求、Tokens 与缓存趋势** [![API 使用统计](docs/screenshots/usage.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/usage.zh.webp) **聊天 · 会话、流式内容与附件** [![聊天工作区](docs/screenshots/chat.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/chat.zh.webp) **调优 · 比较任务与参数候选** [![参数调优工作区](docs/screenshots/tuning.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/tuning.zh.webp) **基准测试 · 上下文档位与历史条件** [![上下文基准测试工作区](docs/screenshots/benchmark.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/benchmark.zh.webp) [![历史 Benchmark 条件比较](docs/screenshots/daily-experience/history-comparison.zh.webp)](docs/screenshots/daily-experience/history-comparison.zh.webp) **设置与关于** [![语言、外观与后台设置](docs/screenshots/settings.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/settings.zh.webp) [![项目资料与致谢](docs/screenshots/about.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/about.zh.webp) **公共聊天默认值 · 按模型选择继承** [![公共生成参数与按模型继承选项](docs/screenshots/common-chat-settings.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/common-chat-settings.zh.webp) **连接 · API 与外部助手** [![连接目标、应用访问密钥、API 示例与 MCP](docs/screenshots/connections.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/connections.zh.webp) **应用更新 · 双语日志与安装确认** [![独立应用更新页](docs/screenshots/app-updates.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/app-updates.zh.webp) **服务状态 · 近期生成与输入处理趋势** [![服务状态快捷面板与近期趋势](docs/screenshots/service-status.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/service-status.zh.webp) **独立桌面监控浮条 · 默认关闭** [![默认条形(两行)布局的桌面监控浮条](docs/screenshots/floating-monitor.zh.webp)](https://raw.githubusercontent.com/hongfaqiu/strata-manager/main/docs/screenshots/floating-monitor.zh.webp) [![桌面监控开关、布局、指标与外观设置](docs/screenshots/floating-monitor-settings.zh.webp)](docs/screenshots/floating-monitor-settings.zh.webp)
## 常见问题 **关闭窗口,API 会停止吗?** 默认关闭到托盘,已启动服务继续运行。关闭此选项后会停止受管服务并退出,也可直接使用托盘的“停止服务并退出”。 **释放模型内存会删掉模型吗?** 不会。它释放内存和显存,保留模型文件与 API 进程;移除保存的配置也保留原权重。 **所有操作都离线吗?** 聊天与用量记录保存在本机。下载和更新需要网络,配置的 MCP 工具可能访问外部服务;启用前检查工具行为,分享诊断前移除私密内容。 API 接入、诊断与调优限制见[使用指南](docs/USER_GUIDE.md)。发现问题可通过 [Issues](https://github.com/hongfaqiu/strata-manager/issues) 反馈。
从源码构建 需要 Node.js **22.13+**、pnpm **11.21.0** 和 Rust stable。Windows 还需要 MSVC C++ Build Tools、Windows SDK 与 WebView2;Linux 前置依赖见 [Tauri 文档](https://v2.tauri.app/start/prerequisites/)。 ```sh git clone https://github.com/hongfaqiu/strata-manager.git cd strata-manager pnpm install --frozen-lockfile pnpm desktop ``` 维护资料见[开发说明](docs/DEVELOPMENT.md)、[发布说明](docs/RELEASING.md)和[验证记录](docs/VERIFICATION.md)。
## 致谢与许可 感谢 [Niko1221/Strata](https://github.com/Niko1221/Strata) 的作者与贡献者。Strata Manager 是独立社区桌面应用。 本仓库采用 [MIT](LICENSE),复用资源保留上游声明,Outfit 字体使用 SIL OFL 1.1;详见[第三方声明](THIRD_PARTY_NOTICES.md)。模型权重保留提供方的许可。 ## 友情链接 / Friends - [LINUX DO](https://linux.do) — 新的理想型社区