--- title: 从提示词到控制框架,自主编码智能体的 7 个设计要素 source_url: https://mp.weixin.qq.com/s/b2pvXBGA6BkY6gJbLerZ1g publish_date: 2026-06-14 author: AI技术立文(翻译自 Elvis Saravia @omarsar0) original_source: DAIR.AI Academy lecture tags: [wechat, article, claude, anthropic, agent, harness, control-system, goal, loop, verifier, evaluator] review_value: 7 review_confidence: 7 review_recommendation: worth-reading review_stars: 3 ingested: 2026-06-14 sha256: 005908fc15c47e8b8291bc210d9e2998ad3a0b633583a7f692254d9f172e6c7d status: merged sources: [agent-harness-12-components-7-decisions] --- # 从提示词到控制框架,自主编码智能体的 7 个设计要素 > 本文转载自微信公众号「AI技术立文」2026-06-14 > 原文:Elvis Saravia(@omarsar0),DAIR.AI Academy 讲座 > 引用文档:Claude Code /goal [2] + Claude Code release notes /loop [3] > 本文由 Codex + Claude Code 协作完成 > 核心论点:自主编码正在从「更好的提示词」转向「更好的控制系统」。工程师们正在学习将智能体包裹在目标、评估器、循环、产物和会话记忆之中,使其能在人类停止输入后继续工作。 ## 1. 引言:为什么控制系统比提示词更重要 工程工作是长周期的:模糊需求、隐藏约束、部分失败、变化的上下文、反复验证。新的前沿是围绕智能体设计**系统**——规划、执行、检查自身工作、从错误中恢复——而无需持续人工操控。 ## 2. 从提示词到目标设计 Claude Code 的 /goal 背后思想:人类指定**期望的终态、证据、不可违反约束、轮次/预算上限**。目标是**契约**而非更长的提示词——强目标给智能体一个可反复自我衡量的靶子。 **领域知识编码**:研究实验需要目标基准分数 + held-out 验证 + 损失曲线 + 超越基线;UI 任务需要参考截图 + 布局约束 + 浏览器验证。模型可执行,人类定义「完成」。 ## 3. 评估器成为一等公民 **评估器 5 形态**:另一个编码智能体 / LLM-as-judge / 脚本测试套件 / 基准测试框架 / 它们的混合。 **匹配原则**:成功标准清晰 → 确定性检查(类型检查、单元测试、lint、集成测试、基准脚本)。成功标准模糊(研究报告连贯性 / 论文忠实度 / UI 设计意图)→ 智能体评估器受益于语言、判断、视觉能力。 **实战组合模式**:**确定性检查作为底线,智能体评估作为更高层级的审查**。减少幻觉化成功判定,同时允许智能体在测试无法清晰断言的任务上保持自主性。 ## 4. 验证器定义信任的边界 核心观点:**只有系统拥有可靠验证器时,自主性才能运作**。智能体可解释「为什么它认为工作完成」,但解释不应被视为证据——证据来自外部检查、智能体无法用言辞绕过的检查。 | 任务类型 | 验证器示例 | |---------|----------| | 代码 | 测试套件、类型检查器、基准测试、浏览器运行、截图对比、可复现脚本 | | 研究 | 留出验证、复现表格、损失曲线、超越基线的基准分数 | | 设计 | 参考截图 + 视觉审查步骤 | **陷阱与分层**: - 验证器模糊 → 模型满足任务最简单解释 - 验证器过窄 → 模型对其过拟合,错过更广泛意图 **分层验证**:① 廉价确定性检查 → 捕获基本失败;② 更高层级审查 → 捕获需判断力的失败。 **研究前沿**:前沿模型已能部分验证,但**分布外(OOD)问题明显**——验证任务一旦超出训练分布,模型显著挣扎。验证器是开放研究领域,微调验证器在企业有高需求。 ## 5. 循环让自主性可持续 目标给方向,**循环让工作持续**。模型在真实任务完成前常会停止——达到轮次限制 / 失去信心 / 耗尽上下文 / 认为部分方案已够。 **Ralph 循环**:智能体 + 确定性条件检查(最简形式)。**评估器循环**:循环包含能推理进度并决定下一步的评估器智能体(更灵活)。 **本质**:长时自主性是**控制层监督下的重复努力**——智能体可能失败,但循环给了系统注意到失败并继续的方式,而非默默宣布胜利。 ## 6. 规划是专业知识的入口 **最强主题**:规划仍需人类参与。可以要求模型生成计划,但**仍需检查、挑战假设、让成功标准更清晰**——再交给自主循环。 **模型角色架构化**: | 模型角色 | 能力要求 | |---------|---------| | 规划 | 强推理、长上下文 | | 执行 | 高代码准确率、低成本 | | 评估 | 批判性思维、领域知识 | | 视觉审查 | 多模态能力 | 工程师应停止把「模型」视为单一选择——**模型选择变成架构决策**。好编排器让你可交换这些角色,而非等待某供应商提供完美编码智能体接口。 ## 7. 可视化产物成为控制界面 **终端日志无法扩展**——多智能体并行时原始文本是糟糕的进度界面。 **实时产物**(损失曲线、基准分数、任务状态、截图、成本估算、最近决策的仪表盘)给人类更好的监督自主性的方式。**产物是决定何时干预的控制界面,不是事后报告**。 **存储与展示分离**: - Markdown / 知识库 → 存储持久化证据、日志、笔记、计划、结果 - HTML 产物 → 将状态渲染为可视化和交互式内容 智能体可搜索 Markdown,人类可监控产物。**视觉线索在 UI 工作中尤其强大**——参考截图比文字更精确传达设计意图,多模态评估器可将实现与参考对比。 ## 8. 会话挖掘将使用转化为记忆 过去智能体会话是工作流数据的丰富来源——反复以相同方式失败、忘记运行相同检查、用错路径、重复错误命令——这些模式**不应被埋在日志里**。 **会话挖掘 → 运行规则**:扫描过去 30 天工作 → 找到反复出现失败模式 → 提议更新: - 项目指令 - 知识库学习记录 - 智能体规则 **目标**:让本地环境变聪明,无需从头训练模型。**智能体指令文件中一条小规则可防止未来会话的重复失败**,尤其是当该规则特定于项目时。 ## 9. 实用的操作模型 AI 工程师工作流: 1. **从小子集开始** — 启动完整自主运行前,先用小的、廉价的子集 2. **编写强目标** — 可衡量成功标准、明确约束、轮次/时间预算 3. **分离执行与评估** — 实现和判断不要坍缩到同一角色 4. **预先定义验证器** — 长时循环启动前定义外部验证器 5. **分层检查** — 尽可能确定性检查,模糊标准再智能体审查 6. **要求证据产物** — 日志、截图、基准曲线、变更文件 7. **持续挖掘会话** — 反复出现的教训提升为项目指令 **核心区分**:使用编码智能体 vs 工程化一个自主编码系统——前者是一次对话,后者是一套**控制框架**。 ## 10. 什么仍然会出问题 智能体仍会:走捷径 / 过早停止 / 高估完成度 / 产生自信但脆弱的计划(尤其在最新论文、不熟悉基准、训练分布外的系统上)。 **更信任它们不会解决这个问题。更好的控制系统才会**。 > 目标、循环、评估器、确定性检查、视觉产物和会话记忆,都是让自主性**可观察和可纠正**的方式。 > > 编码智能体的未来取决于围绕更强大模型的更好编排——工程师设计智能体可安全运行数小时或数天的条件,同时产出**可被验证**的工作。 ## 参考链接 [1] https://academy.dair.ai/events/cmplo7v3b000e04l1pxprat4d — DAIR.AI Academy 讲座 [2] https://code.claude.com/docs/en/goal — Claude Code /goal 文档 [3] https://docs.anthropic.com/en/release-notes/claude-code — Claude Code release notes(/loop)