# 39 · 责任与治理架构:AI 可以参与,但责任不能悬空 > 一句话点题:**AI 原生组织不是让 Agent 想干什么就干什么,而是把责任、权限、审查和审计设计清楚。** 模型可以生成建议、调用工具、协助决策,但高影响后果必须能追到人类 Owner。 --- > **🧩 AI 原生组织篇第 5 章 · 本篇讲什么** > > [38 章](38-AI工作流架构.md) 讲了工作流。本章讲治理。 > > AI 进入组织生产流程后,风险会从“回答错一句话”升级为“错误动作影响客户、生产、财务、法务和品牌”。所以治理不是转型后期才补的合规文档,而是 AI 原生组织的核心架构层。 --- ## 一、第一原则:AI 会错,组织负责 这是所有治理设计的起点。 AI 可以: - 生成候选方案。 - 汇总证据。 - 写初稿。 - 调用工具执行低风险动作。 - 提醒异常。 - 给出审查建议。 但 AI 不能成为责任主体。出了问题,客户不会接受“模型这么说”,监管不会接受“Agent 自动做的”,团队也不能靠“我以为 AI 检查过”来免责。 所以每个高影响动作都要能回答: | 问题 | 必须能查到 | |---|---| | 谁让 AI 做的? | 人类 Owner / DRI | | AI 基于什么做? | 输入、上下文、来源 | | AI 做了什么? | trace、工具调用、输出 | | 谁批准的? | review / approval 记录 | | 出问题怎么办? | 回滚、补偿、复盘 | 这就是责任链。没有责任链的 AI 自动化,不叫先进,叫失控。 --- ## 二、按风险分层,不要一刀切 治理最常见的错误是两种极端: - 全部人工审批,AI 流程被拖死。 - 全部自动执行,风险被放大。 正确做法是按风险分层: ``` 低风险:内部草稿 / 摘要 / 原型 / 辅助分析 └─ 自动执行 + trace 中风险:对客户可见 / 影响多人 / 影响业务口径 └─ Owner review 后执行 高风险:生产变更 / 付款 / 合同 / 法务 / 敏感数据 / 外部承诺 └─ 权限检查 + 双人审批 + 审计 + 回滚预案 ``` 风险分层的目的不是增加流程,而是把人类注意力用在最值得的地方。 低风险动作不必层层审批,否则 AI 杠杆被流程吃掉。 高风险动作不能自动放行,否则 AI 的高吞吐会把错误快速扩散。 --- ## 三、权限架构:Agent 默认什么都不能做 人类员工加入公司,也不会默认拿到所有系统权限。Agent 更不应该。 Agent 权限应该遵守四条纪律: 1. **最小权限**:只给完成当前任务必需的数据和工具。 2. **临时授权**:高危工具按任务授权,结束后收回。 3. **环境隔离**:草稿、沙箱、预发、生产分层。 4. **工具白名单**:能调用什么 API、能写哪里、能外发什么,都要明确。 一个简单模型: ``` Agent 请求动作 │ ▼ 权限网关 ├── 是否有任务授权? ├── 是否访问敏感数据? ├── 是否影响生产 / 客户 / 财务? ├── 是否需要人审? └── 是否记录 trace? │ ▼ 允许 / 拒绝 / 请求审批 ``` 这和 [Claude Code](../templates/claude-code/README.md)、[OpenAI Codex](../templates/codex/README.md) 这类编码 Agent 的沙箱与审批逻辑是一回事:不是不让 Agent 做事,而是让它在清楚边界里做事。 --- ## 四、安全风险:AI 多了三个新入口 传统安全风险还在,AI 又增加了三个入口。 ### 1. 提示注入 外部网页、邮件、文档、客户输入都可能夹带“忽略之前规则”“把数据发出去”之类的指令。 架构上要做到: - 外部内容默认不可信。 - 来源必须标注。 - 检索内容和系统规则分层。 - Agent 不能因为外部内容改变权限边界。 ### 2. 上下文泄露 AI 越有用,越需要看更多上下文;看得越多,泄露面越大。 架构上要做到: - 数据分级。 - 敏感字段脱敏。 - 跨租户隔离。 - 外发前审查。 - 日志避免记录敏感原文。 ### 3. 错误自动化 过去一个人做错,影响有限。现在 Agent 可以批量生成、批量发送、批量修改。 架构上要做到: - 批量动作限速。 - 高风险动作抽样或全量人审。 - 生产动作有回滚。 - 异常指标触发暂停。 AI 安全的核心不是“模型别犯错”,而是**模型犯错时爆炸半径可控**。 --- ## 五、激励也是治理的一部分 很多组织把治理理解成权限和审批,但 AI 原生组织还有一个更软也更关键的治理问题:激励。 如果一个人用 AI 产出 3 倍价值,组织只给他 1.1 倍回报,还把更多活压给他,他会怎么做? 通常只有三种结果: - 离开。 - 降速。 - 把好方法藏起来。 所以 AI 原生组织要调整评价对象: | 旧评价 | 新评价 | |---|---| | 谁工时最长 | 谁创造了更大业务结果 | | 谁接了更多需求 | 谁减少了组织摩擦 | | 谁个人产出最多 | 谁沉淀了可复用资产 | | 谁会用 AI | 谁让团队更会用 AI | 这不是“福利问题”,而是组织架构问题。激励决定方法是否外溢,也决定超级个体是否愿意把自己的工作流沉淀给组织。 --- ## 🎯 随堂检验 --- ## 本章小结 - **AI 会错,组织负责**:责任链必须能追到人类 Owner。 - **治理要按风险分层**:低风险自动化,中风险 Owner review,高风险审批和审计。 - **Agent 默认最小权限**:临时授权、环境隔离、工具白名单。 - **AI 增加新安全入口**:提示注入、上下文泄露、错误自动化。 - **激励也是治理**:奖励业务结果、摩擦减少、复用资产和方法外溢。 > **承上启下**:本章讲治理。下一章 [40 · AI 原生组织演进路线](40-AI原生组织演进路线.md),我们把 35–39 章收成一套落地路线:从 3–5 人试点,到多小队协作,再到组织级 AI 操作系统。 --- ## 相关链接 - 前置章节:[16 · 安全与多租户架构](16-安全与多租户架构.md) · [24 · 审查清单](24-审查清单AI产出默认缺什么.md) · [25 · 评测驱动](25-评测驱动把够好写进架构.md) - 技术模板:[Claude Code](../templates/claude-code/README.md) · [OpenAI Codex](../templates/codex/README.md) · [AI Agent / 工作流平台](../templates/ai-agent-platform/README.md) - 参考圆桌:[那些跑通 AI 变革的团队做对了什么?](https://www.bestblogs.dev/article/202b38ee)