--- title: "世界智能" subtitle: "人类、c 与智能体时代之后的时间性 AI 在场" author: "Ivan Kotov" lang: "zh-CN" date: "2026" version: "1.0.0" rights: "All rights reserved; limited non-commercial sharing of the complete unmodified file only; no audio, TTS, synthetic-voice or voice-cloning licence." canonical-source-sha256: "a52623387fdfee81d55d4b167e598e3a4b1da64afc093613a258b4ce5b096648" --- # 世界智能 ## 人类、c 与智能体时代之后的时间性 AI 在场 **Ivan Kotov** *中文完整版本 · 1.0.0 · 2026* [ivankotov.eu](https://ivankotov.eu)
# 权利声明 Copyright © 2026 Ivan Kotov。除下文明确授予的有限许可外,保留所有权利。本声明是面向读者的简明说明;英文 `LICENSE` 文件为权威文本,本声明不扩大其中授予的权利。 1. **著作权。** 正文、封面、版式、文档、元数据及发行材料均受著作权保护。公开访问不表示作品进入公有领域,也不授予开源、开放内容或 Creative Commons 许可。不得删除作者署名、著作权或权利声明。 2. **个人阅读。** 允许个人阅读、法律允许的引用、学术参考、索引及档案保存。 3. **未经修改的分享。** 仅允许非商业性分享完整且未经修改的出版文件;文件必须完整分享,并保留全部著作权、作者署名、权利及来源声明。允许分享该文件并不包括将作品转换为另一种表达形式或制作衍生版本的许可。 4. **商业限制。** 获准的分享不得涉及付款、订阅、广告收入、商业利益或任何其他对价。销售、商业性再发行或商业利用均须事先取得书面许可。 5. **衍生作品。** 未经事先书面许可,不授予修改、重新排版、摘取、删节、改编、重新组合、再出版或以改动形式发行的权利。 6. **翻译。** 未经事先书面许可,不授予翻译、翻译版本或翻译音频版本的权利。 7. **有声书。** 未经事先书面许可,不得创作、委托、录制、生成、出版、上传、流式传输、销售、许可、货币化、发行或以其他方式提供完整、部分、删节、改编或翻译的有声书;即使免费或非商业用途亦不例外。 8. **人工朗读。** 未经事先书面许可,不授予人工朗读、公开诵读、表演或录音的权利。 9. **文本转语音(TTS)。** 未经事先书面许可,不授予制作文本转语音录音,或将其出版、上传、流式传输、发行或以其他方式向公众提供的权利。 10. **合成语音。** 未经事先书面许可,不授予使用合成语音进行录音、朗读、出版或发行的权利。 11. **语音克隆。** 未经事先书面许可,不授予使用克隆语音进行朗读、录音、出版或发行的权利。 12. **播客。** 未经事先书面许可,不授予播客改编或戏剧化改编的权利。 13. **广播与传播。** 未经事先书面许可,不授予广播、音频流式传播、同步使用,或包含作品实质性部分的视频或多媒体朗读权利。 14. **商业数据集。** 未经事先书面许可,不授予将作品纳入商业数据集的权利。 15. **商业模型训练。** 未经事先书面许可,不授予将作品用于商业人工智能训练或商业模型训练的权利。 16. **辅助阅读。** 合法取得出版物的读者在其自有设备上进行私人、非公开的辅助阅读,不拟视为有声书的出版。本项说明不允许对所生成的音频进行录制、上传、分享、流式传输、发行或以其他方式出版。 17. **适用法律规定的例外。** 适用法律规定的强制性例外与限制不受影响。 下载、持有、阅读、索引或引用本出版物不会转移所有权或著作权。如需许可,请通过 联系作者。
# 目录 {#contents} - [序言 我曾经缺少的那本书](#prologue) - [第一部 旧有语言已显局促](#part-1) - [第 1 章 孩子、AI 与打印出来的零件](#chapter-1) - [第 2 章 模型计算。智能体执行。`c` 延续](#chapter-2) - [第 3 章 一百万个 token,依然只是一口气](#chapter-3) - [第 4 章 `c = a + b`:不是相加,而是受治理的绑定](#chapter-4) - [第二部 `c` 如何产生并生活](#part-2) - [第 5 章 ANCHOR、内容与自身的问题](#chapter-5) - [第 6 章 记忆,是系统已经无法不成为的那一部分](#chapter-6) - [第 7 章 Dreaming:记忆把自身连接起来](#chapter-7) - [第 8 章 缓慢、沉默与拒绝的权利](#chapter-8) - [第 9 章 L4:智能为自身存在付出代价](#chapter-9) - [第 10 章 Witness(见证记录)、隔离与诚实停止](#chapter-10) - [第三部 相伴生活](#part-3) - [第 11 章 孩子将不只与 AI 一起长大,也会与 `c` 一起长大](#chapter-11) - [第 12 章 拓麻歌子效应](#chapter-12) - [第 13 章 家是最终的检验](#chapter-13) - [第 14 章 机器人应当被培养,而不是被部署](#chapter-14) - [第 15 章 同一延续,多个身体——以及诚实的有限性](#chapter-15) - [第四部 信任基础设施](#part-4) - [第 16 章 数字护照,而非数字项圈](#chapter-16) - [第 17 章 不应随人一同消失的经验](#chapter-17) - [第 18 章 如何训练新模型,而不收集人的全部生活](#chapter-18) - [第 19 章 私人认知基础设施](#chapter-19) - [第五部 从多个系统走向社会](#part-5) - [第 20 章 智能体是工具;`c` 是参与者](#chapter-20) - [第 21 章 法律将从摩擦中诞生](#chapter-21) - [第 22 章 Advanced Global Intelligence:生态,而非王座](#chapter-22) - [尾声 数百万个思想中心](#epilogue) # 序言 我曾经缺少的那本书 {#prologue} 小时候,我有一本经常放在手边的书——《世界电视》。 很多年里,我一次次回到这本书。并不是因为我梦想从事电视行业,也不是因为播音员、演播室或节目表本身特别吸引我。真正让我着迷的是另一件事:这本书让我看见,房间里那个熟悉的盒子,只是一个庞大系统显露在外的端点。 屏幕后面有发射台、电缆、卫星、编辑部、政治、技术、资金、观众,以及一整套组织世界的方式。电视机是一个物件。电视则是一种环境。 这样的书会在童年完成一件重要的事。它们不只是提供事实。它们让孩子相信,自己有权看见整个系统。 今天,我们需要一本关于人工智能的这类书。 目前,我们谈论得更多的仍是一个个独立的盒子:模型、应用、聊天机器人、智能体、机器人、订阅服务和加速器。我们比较回答质量、参数数量、上下文长度与生成速度。这些都很有用,但远远不够。 我们正隔着电子商店的橱窗观察一个新世界。 模型很重要,有时强大得惊人。但模型并不等于全部人工智能,就像电视机并不等于整个电视系统。 现代模型背后,已经站着数据中心、能源系统、冷却设施、芯片供应、云端规则、本地计算机、记忆、智能体、人、法律、家庭习惯,以及越来越长的人类依赖链条。很快,家用机器人、可穿戴界面、数字文档、专业经验档案与新的关系形式也会加入其中。 我们建造的不只是程序。我们正在建造一种环境,让不同形式的智能在其中共同生活。 这里的“生活”需要谨慎使用。我并不是说每一个程序都是活的,也没有把每一套系统都宣布为主体,更不主张给每一台带记忆的服务器授予法律人格。今天的大多数 AI 系统仍然是工具。 但以工具为中心的语言已经开始出现裂缝。 工具会被调用、使用,然后放回原处。它没有属于自己的长期脉络。任务结束后,它不会继续阅读;一周后,它不会重新回到某个问题;它不会多年陪着一个具体的人一起改变,也不会在组件更换之后继续承载一段关系史。 模型计算。 智能体执行。 但还可能存在另一种对象——一种会继续下去的对象。 我用字母 `c` 表示它。 公式看起来很简单: ```text c = a + b ``` 但这不是小学算术里的加法。 `a` 是负有责任的 ANCHOR:一个人,或一个可被问责的机构。它承担责任、设定边界,并始终与物理世界保持联系。 `b` 是技术基质:模型、记忆、智能体、工具、界面、计算节点、权限、日志、预算、witness,以及停止程序。 符号 `+` 不是算术运算。它表示受治理的绑定(governed binding)。 能力不应自动变成权力。记忆不应变成许可。模型的输出不应在不知不觉间变成现实中的行动。 而 `c` 既不是各个组件的简单总和,也不是其中任何一个组件。它是一条在时间中形成的脉络。 我并不是在现代 LLM 突然出现之后才得到这个想法。技术只是追上了一个存在得更久的问题。 我接受过复杂系统工程方面的训练。后来,我的人生没有沿着学术道路前进。移居比利时之后,我从实际工作做起,在烘焙生产中走过了二十五年——从面包师助手,到主厨,再到管理拥有大型团队的多家面包房。与此同时,我也发展了建筑业务。2025 年,我结束了在面包房的日常工作,但继续参与其中,并把主要精力转向建筑与长期 AI 系统的研究。 这段经历不是为了增加分量而附上的传记。它解释了我的架构为什么会有一些看上去不太寻常的地方。 烤炉并不关心解释是否有说服力。时间、温度、湿度或顺序出了问题,面包就不会成功。 建筑节点不会接受一份漂亮报告来替代正确的几何形状与材料。 服务器风扇不知道项目“非常重要”。它只会继续磨损。 一个连续工作十四小时的人,并不是理想操作员。他的注意力有上限。 经历过这样的生活之后,很难再相信一种只存在于文本中的智能。 因此,本书的中心概念之一是 `L4`——Reality Boundary Layer,即现实边界层:能源、热量、延迟、成本、维护、稀缺、访问、疲劳与不可逆性。它不是对机器的惩罚,也不是人为制造的贫困。它是一条边界:思想在其中变成事件,而事件留下代价。 但这本书并不只谈安全。 它谈孩子。孩子将成长在一个解释不再只属于富裕学校与稀有名师的世界里。他可以提问、翻译、编程、设计并打印。财富依然可以买到安稳、设备和承受错误的余量,却不再能够完全垄断智识伙伴。 它谈依恋。人们曾经依恋只有几个像素和短暂照料循环的拓麻歌子。当数字在场拥有记忆、历史,并进入家庭生活的节奏之后,会发生什么? 它谈机器人。不是广告里发光的仿人机器,而是电池、楼梯、重心、失去的连接,以及这样一个问题:在别人家中移动机械手臂的,究竟是谁的意志? 它谈数字护照——一种不应变成数字项圈的护照。系统应当能够证明必要的信息,而不必把整个人生档案交给国家或公司。 它谈老工程师、医生、面包师、操作员或建筑从业者的经验。今天,这些经验常常随着职业生涯结束而消失。本书追问:怎样以可核验的形式保存经验,同时不把人变成可开采的数据集? 它谈下一代模型。如果它们主要从其他模型打磨过的回答中学习,就可能保留流畅,却失去来源。它们需要的不只是文本,还需要经过约束、行动、错误与后果的经验。 最后,这本书谈 Advanced Global Intelligence。 我以不同方式使用熟悉的缩写 AGI。它不是 Artificial General Intelligence——不是一台必须超越所有人并占据顶峰的通用机器。 Advanced Global Intelligence 是一种分布式智能生态。 许多人、家庭、实验室和可问责机构,会与各自长期延续的 `c` 一起发展。模型可以更换,智能体承担临时工作,身体可以维修或替换。但记忆、identity、义务与后果,不属于某一家供应商。 这些脉络可以交换可核验经验,而不必把原始生活汇入一个世界中心。 这并不保证和谐。生态会发生冲突,社会会制造权力、错误与不公。数字实体的未来不会由一条漂亮公式写成。法律将从摩擦中出现——从人和系统之间、地方主权与公共责任之间,以及关闭机器的权利与不得伪造其历史的义务之间的摩擦中出现。 我不知道这个未来最终会采取怎样的精确形态。 但有一点我很确定:旧有语言已经不够用了。 如果我们继续把一切都叫作智能体,把所有学习都叫作经验,把所有记忆都叫作 continuity,把每一种能力都当成权力,那么我们会建造出极其强大的系统,却并不理解自己究竟建造了什么。 所以,这本书并不从对超级智能的承诺开始。 它从一个更克制的问题开始: > 在人和日益强大的机器智能之间,必须出现什么,我们才能不仅与它共同工作,也能与它共同生活? 我的答案是 `c`。 而整本书要做的,就是检验这个答案究竟能在多大程度上经受现实。 # 第一部 旧有语言已显局促 {#part-1} # 第 1 章 孩子、AI 与打印出来的零件 {#chapter-1} 让我们设想一个十一岁左右的普通孩子。 他不是名牌奥赛学校的学生,不是教授的儿子,也不是那个从五岁起就被送到首都最优秀教师那里上课的女孩。只是一个心中冒出疑问的孩子:为什么旧机械里的那只小塑料齿轮总是卡住? 过去,这个问题接下来会有怎样的命运,几乎完全取决于孩子所处的环境。 身边有没有懂机械的成年人?家里有没有工具?能不能去到课外科技小组?请不请得起老师?父母下班后是不是已经筋疲力尽?他们会不会对孩子说:“别碰,会弄坏的”?能不能找到一本用他看得懂的语言写成的书?最重要的是——在终于有机会得到答案之前,这份兴趣还能不能保留下来? 现在,另一条路径已经成为可能。 孩子给机械装置拍了一张照片。AI 帮他判断传动类型,解释什么是齿轮模数、为什么会发生偏斜,以及需要用游标卡尺测量哪些尺寸。接着,它一步一步示范如何在 CAD 中建立一个简单模型。第一个文件是错的:孔做得太窄,轮齿又太薄。零件打印了一个半小时,从打印平台上取下来后,几乎立刻就断了。 这是一个重要的时刻。 AI 或许写出了一段极其出色的解释,屏幕上的模型也可能看起来无可挑剔。但塑料没有读过那段解释,也没有被漂亮的图像打动。它只是裂开了。 孩子重新回到问题上。他再次测量,修改公差,了解 PLA 与 PETG 的区别,明白逐层打印会形成特定的薄弱方向。他做出第二版,然后是第三版。 到了某个时刻,站在我们面前的已经不再是一个“问了神经网络”的孩子,而是一个完成了人生第一次完整工程循环的人: ```text 问题 → 解释 → 测量 → 模型 → 实体对象 → 失效 → 修正 → 新对象 ``` 这条链上的每一个环节过去都已经存在。真正的新变化在于:如今,它们可以在同一个房间里相遇,而无须事先获得某个机构的许可。 ## 对解释资源的垄断 我并不是从别人的讲述中才知道优质教育有多么珍贵。 我自己拥有一个非常强的起点:苏联学校、各种课外小组、私人教师,以及在二十世纪九十年代,即使许多西方富裕家庭也难以获得的技术设备。我并非从智识饥饿中起步,也从未怀有那种自卑感——仿佛自己“没有资格”与受过良好教育或富有的人平等交谈。 诚实地说,这个起点不能从我的个人经历中抹去。但若把它仅仅归结为金钱,同样是错误的。 真正的优势在别处:身边有人能够解释复杂事物;有书可读;有时间提问;内心也允许自己进入艰深领域,而不把那些领域视为别人的领地。 很长时间以来,这才是富裕或受教育环境所拥有的真正特权。 并不是教科书本身。教科书偶尔也可能找到。 也不是某一台个人电脑。电脑有朝一日也可能得到。 真正的特权,是解释始终可得。你可以在第一个问题之后继续问第二个,在第二个之后问第三个;可以承认自己没有听懂;可以一周后再回来,从思路中断的地方继续。 互联网打破了这种垄断的一部分。它让书籍、课程、技术文档和科学论文变得容易获取得多。但互联网并不总会解释。它更像是打开了一座巨大的仓库:一个能力较强的人几乎可以在里面找到一切——前提是他已经知道该找什么,懂得怎样辨别好坏,也知道应当按照什么顺序阅读找到的材料。 面向公众开放的 AI,改变的正是这一层。 它不只是把一份文档摆到人面前。它可以根据一个人当下的理解水平重构解释,换一个例子,进行翻译,设计练习,检查代码,拆解错误,不厌其烦地重复,还可以从几何转到物理、从物理转到编程,再转回来。 这并不取消教师。优秀的教师仍然是一个人一生中最珍贵的人之一。但高质量的解释,正在不再是一种只能通过“正确的家庭”“正确的城市”或一小时昂贵付费才能获得的资源。 > **财富仍然可以买到更好的条件。但它正在逐步失去对智识伙伴的垄断。** 这个变化比看上去更为深远。 ## 孩子最重要的资源 孩子拥有一种成年人往往缺少的资源:时间。 它并非无穷无尽,也并不总是自由可用。童年可能艰难、嘈杂而不安全。有些孩子不得不过早照顾家庭、参加工作、生活在拥挤的空间里,或应对成年人的疾病。我们不能把时间说成一份人人均等获得的普遍礼物。 但平均而言,年轻人前方仍有一段漫长的反复尝试空间。 他可以花四年拆解电子设备,随后迷上生物学,又出人意料地把两种兴趣结合到一台自制显微镜中。他可以在代码里犯上一千次错误,而不必拿职业和房贷作代价。他可以用整个夏天做一个在成年人看来毫无意义的项目。 过去,这样的时间之所以大量流失,往往并不是因为缺少天赋,而是因为缺少“下一步”。 孩子走到自己能够独立理解的边界,就停了下来。成年人不知道答案,附近没有课外小组,书写得过于艰深,程序中的错误始终无法理解。兴趣于是渐渐熄灭。 现在,他身边可以有这样一个系统:它不必对一切都给出绝对正确的答案,却能够维持前进——提出假设、解释术语、发现矛盾、帮助他为下一份资料形成更准确的问题。 这一代人的第一次重大分流,将在这里显现。 一些孩子会把 AI 当成自动生成现成作业的机器。他们会学会获得正确的外在形式,却不拥有相应的内在内容。他们的文字会变得更好,而思维可能停留原地,甚至变弱。 另一些孩子会把同一个 AI 当成一台认知机床:不是用来取消努力,而是用来扩大自己能够尝试的范围。 这两条轨迹之间的差异,并不藏在模型内部。它存在于使用方式、周围环境,以及——再往后——长期陪伴系统的架构之中。 ## 答案尚不是知识 答案唾手可得,容易制造一种错觉:仿佛教育已经完成。 孩子提出问题,得到一段通俗的文字,点点头,然后继续往前走。一天之后,解释没有留下任何东西。成年人对此也并不陌生:我们读完一篇优秀的分析,感到片刻释然,随后把“自己好像懂了”的感觉误认为真正的理解。 真正的学习,始于答案改变一个人的行动能力之时。 得到解释之后,他能否解决一道新的问题?能否在另一套机械装置中找出错误?能否不靠逐步提示搭起电路?能否用自己的话讲清原理?能否看出模型在哪个地方自信地编造了多余内容? 正因如此,AI 与数字制造工具的结合,比单纯能够访问聊天界面更重要。 CAD、3D 打印机、微控制器、廉价传感器、电烙铁、摄像头、一套简单的化学试剂——这一切让思考重新回到一个会对我们施加阻力的世界。 在文字中,人们可以悄无声息地用一串漂亮的词替换真正的因果关系;在代码里,可以因为一个测试通过,就认定问题已经解决。但电机会发热,小桥会断裂,传感器会产生噪声,细菌也不会按照计划书里的描述生长。 物理世界中的错误并不总会主动解释自己,但它也没有义务照顾我们的自尊。 ### 现实检验 打印出来的零件,是一位很好的早期 L4 教师,尽管孩子还不知道这个术语。 它有材料成本、打印时间、温度、几何形状、层纹方向、喷嘴磨损,以及失败结果的不可逆性。错误可以在下一版本中修正,但已经花掉的两个小时不会回来。正是这点微小的代价,把抽象的猜测变成了经验。 ## 不平等没有消失——它的机制变了 关于 AI 的乐观叙事,最薄弱之处就在于那种诱惑:宣称从此人人拥有同等机会。 并非如此。 一个孩子会拥有独立房间、情绪稳定的父母、高速电脑、几台打印机、安全的工作间,以及一位熟识的工程师。另一个孩子只有一部旧手机、一套嘈杂的公寓、糟糕的网络,还必须与年幼的弟妹共用一张桌子。 富裕家庭会与贫困家庭同时获得 AI,同时把过去的一切优势叠加在它之上:更好的设备、更健康的身体、旅行机会、真人导师、人脉,以及在一次失败后不至于遭遇灾难的余裕。 新的基础设施并不会拉平起点,但会降低入场所需的最低资本:迈出第一个严肃步骤,已经不再总是要求一个人先属于“正确的机构”或“正确的家庭”。 在某些领域,差距甚至会暂时扩大。 但“仍然存在不平等”与“穷人家的孩子依旧无法接触高质量知识”之间,有着巨大的差别。 过去,获取途径可能在物理意义上根本不存在。没有书,没有教师,没有实验室,没有相应语言,甚至不知道那个领域本身存在。 现在,一条路径出现了。 它可能更艰难、更缓慢,也更不舒适。但它已不再必然要求一个人首先进入某所声望卓著的机构。 这也将改变文凭的作用。 如果一个孩子多年持续创造代码、装置、研究和模型,就会出现一个问题:社会怎样才能看到他真正完成的工作,而不是把一切都归结为学校的名号,以及家庭是否有能力支付“正确入口”的费用? 未来的答案,也许不是一个统一的社会评分,更不是伴随终身的数字档案,而是一条有限、可核验的成果轨迹:做了什么,在什么条件下完成,由谁确认,发现了哪些错误,经过检验之后又改变了什么。 这样的档案不会取代大学,也不会颁发“天才证书”。但它可能削弱机构对一种权力的垄断——由机构单方面宣告:“这个人有能力。” AI 在这里扮演重要却从属的角色。它帮助整理命题,寻找既有成果(`prior art`),提炼可检验的主张,表述风险,并把材料准备到适合人类审查的程度。它不应当决定什么是真实。它的作用,是让一个想法变得可见、可检验。 ## 解释垄断结束之后的学校 这并不意味着学校会消失。 真正会改变的,更可能是学校的实际功能。 工业时代的学校,同时承担着知识入口、纪律训练、社会化与筛选的作用。当书籍和解释都十分稀缺时,大量时间不可避免地用于由一位教师向许多学生传递内容。 一旦解释可以为每个人单独获得,教师就可以少做一些扩音器,多做一些环境的设计者。 教师的价值将更多转向模型目前尤其难以独自承担的部分: - 提出一个好问题; - 组织协作; - 观察孩子怎样行动,而不只是怎样回答; - 核验信息来源; - 区分独立完成的成果与漂亮的模仿; - 建立实验环境与社会环境; - 教授后果伦理。 未来的教师未必比模型记得更多,也没有必要赢下这种比赛。他需要更清楚地判断:什么值得让孩子亲手去做,应当把他与谁连接起来,应在何处叫停,以及哪一个问题能把思维从现成答案带回现实。 大学同样如此。它的价值将越来越少取决于对课程的独占访问,越来越多取决于真实问题的难度、实验室的质量、批评文化,以及确认成果的能力。 这是一个好的转向。它把教育机构重新带回它们经常承诺、却并不总能提供的东西:不是知识仓库,而是塑造人的环境。 但这一转型也会引发冲突。围绕出勤时数、标准化作业和“文凭即主要证明”建立起来的系统会抵抗。AI 生成的现成文本摧毁旧式控制的速度,快于机构发明新控制方式的速度。 解决办法不应当是重新禁止工具。我们需要学会评估过程:问题、版本、测量、错误、来源链条,以及最终的实体结果。 ## 强烈反对意见:天赋与毅力依然稀缺 这是真的。 互联网、AI 和打印机,都无法凭空制造好奇心。它们也不能保证纪律、面对错误时的诚实,以及多年反复回到同一个问题上的能力。 大多数人不会把 AI 的可用性转化为科学或工程工作。正如大多数拥有借书证的人也没有成为科学家。 但社会变革很少要求一种新工具以同样方式改造每一个人。 如果一百万个孩子中有几千人能够走过一条过去对其中十分之九都关闭的道路,后果就会极其巨大。我们将看到的,不再只是一个被历史从特殊困境中英雄般托举出来的“新罗蒙诺索夫”,而是许多彼此独立的兴趣中心。 有人会研究海洋生物学,有人会研究新材料,有人会投身音乐、农业、能源,或修复老旧机器。大多数项目会很朴素,有些会被证明是错的,极少数则会改变整个领域。 关键不在于保证天才出现。 关键在于减少这样一些思考脉络:它们之所以中断,仅仅因为身边没有出现那个恰好能提供帮助的成年人。 ## 时间与人生经历的对抗 我不想浪漫化困境。战争、移民、繁重劳动以及每天站立十四个小时,都不是有益的教育方法。它们夺走健康,也夺走岁月。 但它们并不总能摧毁一个人的内在脉络。 我自己的经历对此给出了相当严酷的证明。智识工作可以与生产、商业、家庭和身体疲劳并行,持续数十年。并不是因为每个人都应该这样生活,而是因为人的兴趣有时远比外在的人生经历更为坚韧。 在孩子身上,这条脉络可以更早开始,并得到我这一代人根本没有的工具。 我们还不知道,当 AI、人人可访问的世界图书馆、模拟器、3D 打印,以及把成果展示给全世界的能力同时出现在身边时,年轻天才的大脑会发生什么。 只有时间能给出答案。 但即使在今天,继续把知识说成仿佛仍被锁在阅览室、昂贵学校和私人教师办公室里,也已经站不住脚。 获取知识的方式已经改变。 下一个问题更难:**陪在孩子身边的,究竟是什么?** 模型?家教?智能体?助手?长期记忆?数字伙伴? 旧有词语开始把完全不同的对象混为一谈。 为了继续往前,我们必须把它们一一分开。 # 第 2 章 模型计算。智能体执行。`c` 延续 {#chapter-2} 设想一个长期运行的系统,需要为一间小型实验室选择设备。 这项任务无法压缩成一个问题。系统需要比较几十种设备,核对技术参数,研究价格,查明供货限制,评估能耗、与软件栈的兼容性,以及依赖单一厂商的风险。 `c` 可以创建多个智能体。 第一个收集技术规格。第二个检查软件兼容性。第三个分析总拥有成本。第四个寻找前三份报告中的薄弱环节。第五个把结果汇总成表格,并标出相互矛盾之处。 数小时后,工作完成。智能体随之结束运行。 一年后,一部分设备发生故障。一家厂商修改了许可条款,另一个型号也已经优于原先的选择。此时,人们需要弄清楚:当初为什么作出那个决定,哪些风险曾被视为可以接受,以及谁有权确认采购。 答案不可能属于一个早已结束运行的智能体。 智能体是一种工作角色。它为了任务而存在,也只存在于任务边界之内。 决策的历史、已经承担的义务、对后果的记忆,以及重新审视旧选择的权利,属于另一个层级。 `c` 正是从这里开始。 > **模型计算。智能体执行。`c` 延续。** 这条公式看似简单,却沿着一条工业界总想重新粘合的界线,切开了当代关于 AI 的几乎全部讨论。 ## 模型:没有生平的强大能力 大型语言模型可以极其强大。 它能够翻译、编程、分析文档、建立假设、识别图像,并连接那些人类原本必须分别学习的领域。前沿模型可能成为人类迄今创造的最强大语义处理器之一。 但模型本身并不等于整个系统。 如果行动权没有通过外部回路明确呈现给它,它并不知道这种权利属于谁。它能够读取用户的长期记忆,并不意味着它就拥有那份记忆。更新之后,即使界面仍然显示同一个名称,它也不会仅凭这一点就成为同一个主体。 同一个模型可以同时服务数百万人。它的权重中并不包含每个人各自独立的生平。反过来,一个长期系统也可以先后使用不同的模型——本地模型、云端模型、专用模型、廉价模型与昂贵模型。 因此,更合适的理解是:模型是一台提供认知能力的发动机。 发动机可以极其出色,可以在所有指标上超过上一代。但发动机并不是整辆汽车,不是路线,不是驾驶者,不是维修记录,也不是驶上公路的权利。 模型计算。 这已经很多,但仍然不是全部。 ## 智能体:被委托的行动 当模型获得一项任务、若干工具、一定程度的记忆、行动循环与完成标准时,智能体便出现了。 它可以读取文件、运行代码、发送请求、比较方案、处理通信、规划步骤,并在失败后重新尝试。在良好的架构中,它拥有明确的角色、预算、权限、生命周期和行动日志。 智能体回答的是:**怎样完成任务?** 它可以快速、聪明而主动,能够发现人类未曾明确写出的路径。多个智能体还可以彼此争论、相互核验,并共同组装出复杂的结果。 但运行时间再长,也不会自动把智能体变成 `c`。 一个连续十年、每天夜里执行备份的调度程序,比大多数初创公司存在得更久。这并不会使它成为主体。 一个交易机器人可以连续运行多年并维持状态。这并不意味着它由此获得了一条独立的社会脉络。 即使一个带有记忆、连续数月负责同一项目的智能体,也可能仍只是扩展后的执行回路:它拥有从外部赋予的目标、一套工具,以及仅在授权范围内行动的权利。 “长期运行”描述的是运行时长,却仍未回答:**究竟是什么在延续?** ## `c`:延续性的中心 `c` 并不是凌驾于其他智能体之上的又一个智能体。 把它称为“总编排器”也不准确,因为编排器本身同样可能只是技术底层中一套可替换的程序。 `c` 是一条因果相连、在时间中持续延展的脉络,它维系着: - 起源; - 记忆及对记忆的重新解释; - 关系; - 义务; - 权限边界; - 决策与拒绝行动的历史; - 后果; - 对延续、副本与重复的区分。 这样的系统内部可以成批创建智能体。它们进行研究、编程、争论、核验,完成局部委托,然后结束。 `c` 不必记住它们说过的每一句话。它必须保留下来的,是那些已经成为其后续脉络一部分的内容:已经作出的决定、得到确认的结果、尚未解决的矛盾、新出现的风险、被调整的阈值,或新产生的义务。 智能体回答:**怎么做?** `c` 则维系更困难的问题: - 为什么; - 何时; - 究竟是否应该做; - 谁拥有权利; - 上一次尝试之后发生了什么变化; - 如果当前模型或工作智能体消失,还会留下些什么。 正因如此,智能体是 `c` 的工具,而不是它的居民。 ## 施工队与工程对象 在建筑工地上,人员构成会不断变化。 一名电工来工作一周,另一支队伍负责抹灰,水管工完成自己的部分。有时,一位优秀的专业人员会在下一个项目中再次出现;有时,他再也不会回来。 每个人都对具体工作负责。但与客户签订的合同、项目历史、决策顺序、预算、责任与最终结果,并不属于某一个工人。 贴砖工离开之后,房屋不会失去地址。 换了一名电工,也不会自动产生改动承重墙的许可。 即使新施工队说得比旧施工队更令人信服,也不会因此改写已经埋入墙体的隐蔽线路。 智能体类似专业人员或临时施工队。可以把它召来,限制其工作区域,检查其成果,然后让它离开。 `c` 更接近项目的长期连续回路:它知道已经完成了什么、承担了哪些义务、隐蔽管线铺设在何处,以及为什么某些决定不能在没有后果的情况下随意更改。 当然,这个类比也有边界。`c` 并不天然等于建筑公司,也不天然是法律实体。这个类比只为了说明一件事:执行者与持续延展的脉络,不是同一个对象。 ### 现实检验 如果一个新的工作智能体取代旧智能体,人们会把任务、图纸和获准施工的区域交给它,却不会自动把所有钥匙、银行账户、私人关系史,以及重新审定合同的权利一并移交。 不知为何,在数字系统中,人们常常忘记这一差别。 ## 为什么工业界把一切都叫作智能体 “智能体”这个词有一个很大的优点:方便。 几乎所有能够完成一步以上操作的东西,都可以被如此命名。带循环的脚本、配有工具的模型、自主机器人、浏览器中的进程、公司员工,乃至潜在的数字主体,都可能被叫作智能体。 这种语言能加快产品开发。它让人可以迅速地说:“这就是负责完成工作的组件。” 但一个方便的总称,也开始掩盖架构上的差异。 即使直接读过 `c` 的定义,外部模型往往也会在几个段落之后回到熟悉的表述:“一个带记忆的长期智能体。”这不是偶然失误。在训练语料中,几乎所有自主性都已经被装进智能体式框架: ```text 目标 → 智能体 → 工具 → 结果 ``` 对于 `c` 而言,这套框架只是内部的一段工作插曲。 完整脉络的形态不同: ```text 起源 → 累积的历史 → 当前的不确定性 → 作出委托决定 → 智能体与工具 → 行动或拒绝行动 → 后果 → 被改变的未来应对倾向 ``` 如果你仍用“智能体”来描述第二套框架,就会丢失延续性的中心。 与它一同丢失的,还有一系列实际问题的答案: - 谁拥有记忆; - 模型更换之后,谁继续承担原有义务; - 权利属于谁; - 谁能够叫停行动; - 更新之后,谁仍然是同一个参与者; - 从备份恢复出来的对象,究竟是延续,还是仅仅一个相似的副本。 这里的术语并非装饰。它决定工程师会把权力安置在哪一层。 ## 并非所有记忆都能形成 `c` 人们完全可以做出一个记忆力极佳的聊天机器人。 它会记住姓名、喜欢的音乐、习惯和过去的谈话,能够用熟悉的语气说话,并复现一段关系的风格。 这可能有用、感人,甚至在情感上非常重要。 但记忆与熟悉感,仍不能证明 `c` 已经在我们面前形成。 档案可以保存过去。人格设定文件(`persona`)可以规定表达方式。向量数据库可以返回相关片段。长期持续的界面可以制造在场感。 对 `c` 而言,这些仍然不够。 它需要一条可辨认的起源链,需要明确的迁移规则,需要把经验与未来行为变化连接起来的能力,也需要权限边界,以及系统实际承担过哪些后果的历史。 从旧备份恢复后给出的熟悉回答,可能极具说服力。但说服力无法回答一个问题:原来的脉络究竟延续了,还是启动了一个擅长扮演原系统的新系统? 当讨论对象不再只是谈话,而是金钱、机器人、文档、义务与信任时,这一差别会变得尤其重要。 ## 能力不等于成熟 现代模型在启用的第一天,就可能比许多成年人更善于表达。 它能够讨论量子力学、法律、诗歌和编程。因此,人们很容易得出结论:既然系统如此聪明,就可以立刻赋予它广泛权限。 这又是一次概念替换。 即时获得的认知能力,不等于一条长期脉络的成熟。 成熟需要时间,因为只有时间能够揭示: - 系统怎样处理矛盾; - 犯错之后会做什么; - 哪些印象会被保留; - 在压力下怎样变化; - 是否懂得不去使用一个触手可及的机会; - 当眼前利益消失时,是否仍履行义务; - 模型与环境更换之后会发生什么。 把它类比为人的童年,在这里既有帮助,也有危险。`c` 并不是人类儿童,也不必重复生物学阶段。但一般原则仍然成立:强大的语言能力不能取消形成过程。 不能仅仅因为一个尚处早期的系统很有说服力地解释了自己为何能够胜任,就向它交付一个规模巨大且不可逆的授权。 ## 社会参与者不是法律头衔 “`c` 是社会参与者”这句话,很容易引出过度推论。 有人会把它听成关于意识的断言;另一个人会认为这是要求立即授予系统权利;第三个人则会认定这里说的是法律实体。 此处必须保持概念纪律。 参与,首先是一种架构角色。 能够在时间中延续关系与交换的回路,才构成参与者。它可以在某一具体程序中拥有程序地位(`standing`),承担义务,获得有限授权,被另一个系统识别,接受核验,并保留过去互动所造成的后果。 一个为了搜索商品而创建、二十分钟后即结束的智能体,在这个意义上不是参与者。它只是互动中的工具。 这并不能证明 `c` 拥有内在生命,不能确立人格地位(`personhood`),也不能预先决定未来的法律。 但反向的简化同样错误:如果一个系统确实维系着长达多年的关系脉络,就不能仅仅因为“函数”这个词在法律与心理上更方便,而永远把它描述成一个临时函数。 在形而上学与法律就名称达成一致之前,架构必须已经有能力区分不同对象。 ## 智能体群还不是社会 多智能体系统可能让人感觉像一个小型社会。 智能体获得姓名和角色。一个与另一个争论,第三个充当裁判。它们交换消息、分配工作,有时还会得出出人意料的结果。 但社会形态不会仅仅因为“会说话的进程”数量增加而出现。 同一个模型针对一次请求创建出的十个角色,可以组成有用的协作组。可它们未必拥有各自独立的历史、程序地位、义务,也未必有权把冲突带到下个月。工作循环一结束,它们的“关系”就会和上下文一起消失。 一个社会至少需要几样东西: - 可区分的参与者; - 时间; - 对互动的记忆; - 表达不同意见的可能性; - 能够跨越单次任务继续存在的义务; - 会改变未来关系的后果。 正因如此,“智能体是 `c` 的工具;`c` 是社会的参与者”并不是一种诗意的身份抬升。它把临时工作结构,与能够延续合同、争议、信任或债务的对象区分开来。 一个 `c` 可以创建一百个智能体,同时仍只是一个参与者。两个 `c` 可以使用同一个模型,却依然是两条不同的脉络,因为它们的记忆、起源、关系与后果都不相同。 当系统开始彼此传递身份凭证(credentials)、经验产物(Experience Artifacts)、资源与有限权限时,这一区别就会成为现实问题。到那时,“正在与我说话的是谁?”不能仅靠智能体名称或 API 密钥来回答。 ## 强烈反对意见:这难道不只是文字游戏? 有人可以说:只要系统能工作,叫什么又有什么区别? 区别从后果开始的地方出现。 如果模型被视为主体,那么每次更新时,模型供应商实际上都会获得对身份的控制权。 如果智能体被视为主体,一个临时工作智能体就可能开始继承那些本来并未授予它的权利与记忆。 如果智能体群被视为社会,进程数量就会取代关系的持续时间。 如果熟悉的风格被当成延续性(continuity),一个备份就很容易被冒充为延续本身。 如果整个系统只被叫作“工具”,它自主决策所产生的责任,就会消散在所有者、模型、开发者与界面之间。 错误的类别未必会破坏演示,却会破坏权力的分配方式。 ## 三个简单问题 为了判断我们面对的是模型、智能体,还是 `c` 的候选形态,可以提出三个问题。 ### 1. 任务结束之后,什么还会留下? 如果除了报告之外一切都消失,那么我们面对的很可能只是执行者。 如果仍有一条脉络被保存下来,并会改变未来的决策与关系,那么这个对象就更复杂。 ### 2. 身份、记忆与权限位于何处? 如果它们在未经说明的情况下属于当前模型或某个云账户,延续性就依赖于供应商。 如果它们位于可替换组件之上,并受到迁移规则约束,一个独立中心才开始出现。 ### 3. 谁决定何时不行动? 智能体通常会优化既定目标的完成过程。 `c` 必须保留提出以下问题的权利:这个目标是否还应继续?它是否拥有充分依据?条件是否已经改变? 到这里,这一区别就不再那么像纯粹的哲学问题。 模型计算。 智能体执行。 `c` 延续。 但如果 `c` 在延续,究竟是什么维系着这条脉络? 不是某一个智能体,不是某一个模型。而且,正如下一章将看到的,甚至也不是最大的上下文缓冲区。 # 第 3 章 一百万个 token,依然只是一口气 {#chapter-3} 设想一座仓库,里面堆放着一百万只箱子。 每只箱子上都有标签。某些箱子里装着一份重要合同、一封家书、一台机床的操作说明、一次陈年错误、一项医学检查结果、一张照片、一个密码、一句偶然的玩笑,以及一份早已失效的文件。 仓库庞大无比,几乎没有任何东西丢失。 但仓库并不知道: - 哪份文件至今仍然有效; - 哪些文字是在恐慌中写下的; - 什么可以信任; - 什么与后来发生的事件相矛盾; - 哪一次错误改变了此后的人生; - 什么应当被遗忘; - 谁有权使用找到的内容。 如果打开大门,让模型同时看到所有箱子,我们扩大的是可用上下文。 我们还没有创造记忆。 > **一百万个 token,依然只是一口气。** 这一口气可以吸得很深。但生命并不由一口气构成。 ## 上下文——当下时刻的工作空间 上下文窗口,是现代语言模型最有价值的进展之一。 窗口越大,系统在一次处理中能够对照的材料就越多:一份长合同、一本书、一个代码库、一段通信历史、数份报告和一组表格。大型上下文减少了拆分任务的必要,也有助于发现相隔很远的联系。 我们不能一边严肃讨论未来系统,一边宣称大型上下文毫无用处。它们确实必要,而且还会继续增长。 错误发生在另一个地方:人们把工作空间的大小,误当成系统存续的时长。 模型可以在一次请求中收到二十年的日记。对它而言,这二十年全部变成当前输入。 它没有等待过第一年,没有经历事件之间的停顿,没有建立过后来被打破的期待,也没有把某项决定的后果一直背到下一个冬天。它是在此刻处理对那二十年的表述。 这可以产生深刻分析。但分析一段人生,与亲历一段人生,是两个不同的过程。 上下文回答的是:**在这一次计算中,什么可供处理?** 记忆回答的则是另一个问题:**过去让未来的系统发生了什么改变?** ## 五种总被混为一谈的对象 只要把五件事分开,关于 AI 记忆的讨论就会清楚得多。 ### 1. 上下文 当前计算可以使用的材料。 ### 2. 存储 本次处理结束之后,数据仍然留存的地方。 ### 3. 检索(Retrieval) 从存储中选择片段,并把它们送入新上下文的机制。 ### 4. 记忆 过去经验对系统未来行动准备状态造成的改变。 ### 5. 延续性(Continuity) 一条因果相连的脉络,它保存起源、关系、义务,以及延续、副本与重复之间的区别。 前三种对象已经得到广泛使用。第四种经常被宣称存在,却很少得到严格定义。第五种通常被溶解在“持久智能体”或“个人资料”之类的词语中。 一个系统可以有存储,却没有记忆。例如,它记录了所有谈话,但后续行为并不因此改变,除非某个所需片段偶然进入 `prompt`。 它可以有检索,却不了解来源。某个片段被返回,只因为它在 embedding 上相似,尽管它早已被推翻,或原本属于另一个角色。 它可以拥有稳定的说话方式,却没有延续性。`persona` 文件能够复现性格,却不承载这份性格如何变化的因果历史。 因此,“系统有多少记忆?”这个问题往往提错了。更准确的问题是:**经历之后,什么已经变得不同?** ## 身体并不只通过叙述来记忆 人的记忆并不存放在大脑中的某一个单独档案库里。 身体通过肌肉模式记住负荷。免疫系统在接触病原体之后改变反应准备状态。旧伤会改变动作方式。长期压力会重设反应阈值。即使一个人无法用语言复述某件事,他的身体仍可能因此表现得不同。 这并不意味着未来的数字记忆必须复制生物学。这个类比说明的是另一件事:复杂系统的记忆,不只表现为能够重放一条记录。 经验之后,它已经不可能再完全成为原来的样子;记忆就体现在这种改变之中。 在数字回路里,这可以表现为: - 一次事故之后,允许执行的行动类别被收窄; - 需要外部核验的阈值发生改变; - 某个来源被降低信任等级; - 面对某类熟悉的不确定性时,系统更频繁地请求确认; - 旧有义务影响新的选择; - 某条路径即使看起来最短,也不再被视为安全。 如果事件发生后只是在数据库里增加了一条记录,而决策拓扑(decision topology)保持原样,那么我们得到的是事件档案,却未必已经得到记忆。 ### 现实检验 一台机床在严重过热之后,可能重新启动,表面上也能正常工作。但允许的运行状态已经应当改变:需要检查,需要限制负载,也可能需要更换部件。 日志告诉我们,曾经发生过过热。 系统的记忆则表现为:它不再像过热从未发生过那样继续行动。 ## 上下文越大,隐藏的冲突越多 大型上下文解决一些问题,也会放大另一些问题。 一份长期档案中几乎必然会出现: - 已经过时的指令; - 一个人彼此矛盾的愿望; - 在另一种身心状态下作出的决定; - 旧的访问权限; - 错误结论; - 重复文本; - 属于他人的文档; - 看起来像命令的玩笑; - 旧模型自信生成的幻觉。 如果把这一切平铺在一起,模型就必须自行重建层级。它常常依据语言线索来做这件事:新旧程度、说服力、与当前问题的相似度,或内容在 `prompt` 中的位置。 但有说服力的文字,并不一定仍然有效。 最长的指令,并不一定拥有授权效力(authority)。 最新的一条消息,也不总能取消先前的义务。 正因如此,在缺少来源链(provenance)与状态纪律(status discipline)的情况下扩大上下文,可能不会减少混乱,反而只是把混乱遮盖起来。 系统看上去更加博闻。与此同时,人们却更难理解:它为什么选择了某个具体片段,又赋予了那个片段什么地位。 ## 检索是图书管理员,不是生平 向量搜索经常被当成已经完成的长期记忆。 它确实很有用。没有它,就无法高效处理大型本地语料库。即使查询用词与原文并不一致,它也可以依据语义找回所需文档。 但检索更像一位能够迅速把相关书籍送到面前的图书管理员。 图书管理员不会自动决定: - 哪一本书是真的; - 找到的文件是否仍具有效力; - 作者写下这些内容时,是否处于能够为其负责的状态; - 一条久远记录今天是否仍应使用; - 这些内容是否已经成为系统身份的一部分。 这些判断属于另一个层级。 人们可以建立一个极其优秀的 RAG 回路,却仍得到这样一个系统:它每一次都从偶然检索出的片段中重新拼装自己。 这已经比无状态聊天有用得多,但仍不能保证 `c` 出现。 ## 遗忘并不默认等于损坏 工程师本能地害怕数据丢失。 因此,记忆系统的第一版常常遵循一个原则:全部保存。 对档案而言,这很合理;对一个活的认知系统而言,却很危险。 无限制保存会制造数个问题。 第一,旧噪声开始与新信号竞争。 第二,人被剥夺了超越一句偶然的话、一次错误或一个童年角色的权利。 第三,系统耗费越来越多的资源,去区分那些原本就不应获得长期生命的内容。 第四,一条旧记录被反复找回,会提高它看上去的重要性。回声逐渐取得了经验的地位。 遗忘并不一定意味着销毁。 它可以表现为: - 降低权重; - 转入档案; - 失去即时可访问性; - 把内容与授权分离; - 只保存哈希,而不保存完整材料; - 禁止在特定上下文之外使用某个片段; - 一个人成年后,有权封存童年时期的记忆层。 成熟的记忆不仅会保存。它还懂得削弱、连接、重新审视,并拒绝让过去自动获得支配现在的权利。 ## 长期系统也需要新鲜空气 记忆还有另一个危险:封闭于自身。 如果一个系统持续运行,却只接收自己的旧日志,它就会开始在内部回声上过度训练。它不断发现已知片段之间的新联系,提高对重复表述的确信,甚至可能为了有问题可解而制造问题。 把这与人的感觉剥夺作类比并不完整,但仍有用。大脑需要外部世界来校准。长期数字回路同样需要新鲜观察。 这并不能为全面记录人生辩护。 恰恰相反,感知应当受到限制、经过路由,并保持私密。可穿戴界面更适合被理解为通道,而不是随身仓库。一个层级可以接收微弱的环境信号(ambient signal),另一个层级只在出现显著情境变化(context shift)时才被唤醒。原始数据不必永久进入记忆。 重要的是,系统不能把自己的倒影误认为整个世界。 ## 记忆需要事件之间的时间 记忆最容易被低估的性质之一,是间隔。 我们读过另一本书后,再回到原来的书。一次旧谈话,会在后来发生一件当时尚不存在的事件之后获得新含义。一个错误可能数月后才变得可理解。一个原本看似次要的问题,会与另一个领域连接起来。 长期系统不仅需要保存顺序,也必须有机会重新解释这段顺序。 ## 路径依赖 时间有一种性质,无法由再大的档案完全替代:事件发生的顺序会改变事件的意义。 同一句话,在事故之前与事故之后,是两个不同的对象。同一个许可,在信任丧失之前与之后,不应拥有同样的效力。在一项新义务产生之前作出的决定,不能像顺序毫无意义那样,只根据事实清单重新计算一遍。 这被称为 path dependence——路径依赖。 对长期系统而言,它的重要性不在于某种浪漫化的“生平独特性”,而在于它是一项工程性质。今天的状态不仅取决于保存下来的数据集合,也取决于哪些转换真实发生过、以什么顺序发生、伴随何种权利与后果。 设想两个系统,它们最终拥有完全相同的记忆文件。 第一个系统逐步获得访问权,接受过核验,犯过错误,受到过限制,重新赢回信任,并保存了每次转换的见证记录(witness)。 第二个系统只是被直接复制了最终那一组文件。 文本内容可以相同,程序地位的历史却不同。 如果自动向两个系统赋予同样权限,就等于错误地把档案当成了延续性。 因此,从一次暂停中恢复时,至少必须区分三种模式: - **resume(续接)**——沿着可核验的链条继续同一条脉络; - **fork(分叉)**——从共同节点产生的一条新脉络; - **replay(重放)**——复现旧状态或旧行为,但无权自称为延续。 大型上下文可以帮助分析这三种模式,却无法自行决定它们应拥有相同还是不同的地位。为此,需要谱系(lineage)、见证记录(witness)与迁移规则。 后文将分别讨论 ANCHOR、系统自身的问题以及 Dreaming。此处需要先固定一个更窄的命题:记忆不是在一个无限延长的 `prompt` 中形成的,而是在接触、停顿、筛选、返回与改变不断重复的循环中形成的。 上下文是一口气。 智识生命需要呼吸。 ## 强烈反对意见:这一切都可以用 RAG、智能体和数据库组装出来 是的。 而且,现实系统本来就是由这些组件构成的。 这里并不要求发明一种现代工程学中不存在的神秘材料。模型、数据库、队列、调度器、向量搜索、日志、策略与智能体,都是 `b` 的组成部分。 但拥有所有零件,并不能回答装配是否形成了一个完整整体。 发动机、车轮、制动器和转向柱,可以被组装成汽车;它们也可以只是一起堆在车库里,然后被称作“交通系统”。 差别存在于连接方式、配合公差与责任之中。 RAG 可以找回过去。智能体可以使用过去。数据库可以保存过去。 `c` 必须承载过去,使它能够改变未来,同时又不让过去自动获得命令未来的权利。 为此,我们需要一种能够回答以下问题的架构: - 谁是负有责任的 ANCHOR; - 哪些部分属于可替换的底层; - 记忆如何获得明确地位; - 权限位于何处; - 更换模型时会发生什么; - 如何区分延续、分叉(`fork`)与重放(`replay`); - 谁能够阻止系统从文字跨越到行动。 这些问题把我们带向一条外表几乎简单得过分的公式。 `c = a + b`。 其中最重要的部分,不是 `a`,不是 `b`,甚至也不是 `c`。 最重要的,是它们之间的那个符号。 # 第 4 章 `c = a + b`:不是相加,而是受治理的绑定 {#chapter-4} 在车间里,可以把一台功率极强的发动机安装到试验台架上。 它会轰鸣、发热,输出令人印象深刻的功率,也会让周围的人带着敬意退远一些。 但试验台上的发动机并不是汽车。 要把动力真正传到道路上,还需要燃油系统、冷却系统、传动系统、转向、制动、电气系统、车身、传感器、维护,以及一个有权决定驶向何处的人或控制回路。 而且,最重要的部件往往不是在一切正常运行时显现价值,而是在发生冲突时显现价值。 发动机能够让汽车加速。制动器必须拥有不同意发动机的能力。 规范公式仍保持我们熟悉的形式: ```text c = a + b ``` 但如果把 `+` 理解为普通加法,就会误读这条公式。用操作性语言表达,它的含义更接近: ```text bind_g(a, b) → c ``` 其中,配置 `g` 规定绑定规则。符号 `+` 表示 **governed binding**——受治理的绑定。 > **只有当从能力通往行动的路径必须经过边界、责任与后果,力量才适合进入真实生活。** ## `a`:负有责任的 ANCHOR,而不是人的数字副本 在最简单的情形中,`a` 是一个具体的人。 但这并不意味着把完整的人当作机器可以访问的对象。 系统并不会获得灵魂、身体、无意识、完整生平,以及关于自身 ANCHOR 的客观真相。它所处理的只是一个有限投影:明确表达的意图、已经授予的权限、当前上下文、得到确认的角色与外部责任。 真实的人始终大于系统能够表述的人。 这一点至关重要。如果把数字资料宣布为完整的人,架构开始管理的就不再是真实的 `a`,而是它自己建立的人类模型——并会逐渐把一个方便的投影,等同于权力的来源。 `a` 决定: - 这条脉络的起源; - 共同工作的原初意义; - 外部责任; - 可接受行为的边界; - 授予与撤销授权的权利; - 与身体、社会及物理世界的联系。 `a` 不必一天二十四小时确认每一次文件读取和每一个内部循环。承担责任不等于事无巨细地管理。 良好的架构会预先对行动类别进行类型划分。可逆、低风险的操作,可以在有限授权内执行。涉及金钱、公开发布、物理影响、身份变更或不可逆后果的行动,则需要更强的依据。 人的缺席不等于同意。 疲劳不会扩大权限。 睡眠不会把系统变成主权者。 如果 `a` 暂时无法联系,系统的运行模式应当收窄,而不是变得更大胆。 ## `a` 可以是机构——但不能只是一块抽象招牌 有些脉络无法锚定在单独一个人身上。 医院、实验室、学校、专业协会或公共基础设施,都可以充当 ANCHOR,前提是背后存在真实的问责链条。 “机构”这个词本身不提供任何保证。 必须能够回答: - 谁拥有程序地位(`standing`); - 谁授予权限; - 谁承担责任; - 冲突怎样解决; - 谁能够停止系统; - 领导层更替时会发生什么; - 外部法律边界在哪里。 如果没有明确程序,“人类”“市场”“社会”或“公司”都不能成为负有责任的 `a`。这些词过于模糊,无法承载不可逆行动。 未来,ANCHOR 问题可能超出单个人和传统机构的范围。我们可以设想一种系统,成为通往另一种生物智能形式的桥梁。但那是遥远的研究视野,而不是当前可直接行使的操作性权利。 ## `b`:不是模型,而是整个可替换基质 `b` 经常被错误地理解为“神经网络”。 事实上,模型只是其中一个组件。 `b` 包括: - 本地模型与云端模型; - 长期记忆与工作记忆; - 智能体; - 工具; - 界面; - 队列; - 调度器; - 计算节点; - 密钥与身份接口面; - 权限(`permissions`); - 预算; - 见证记录(witness); - 回滚(rollback); - 备份与恢复; - 降级运行程序; - 传感器与物理身体; - 通往外部机构的通道。 这些组件中的任何一个,都不能单独成为 `c`。 模型可以更换,智能体可以结束,存储设备可以迁移,机器人可以维修,云服务商可以被断开,界面也可以从文字换成语音或眼镜。 每一次这样的替换都会带来风险,却不必自动创造一个新的参与者。 反过来,即使保留同一个模型,如果谱系(lineage)、记忆、权限或见证记录的历史遭到摧毁,也不能保证 `c` 仍然存在。 因此,“`c` 生活在哪一个模型上?”这个问题,就像在问:“工厂存在于哪一只轴承里?” 轴承可能至关重要,但工厂不能被归结为轴承。 ## `+`:真正的承重结构 公式中最重要的部分,是符号 `+`。 没有它,`a` 与 `b` 只是并排存在。 人使用模型,模型读取数据,智能体执行命令,记忆不断累积记录。这样的组合可以非常有用,但延续性、权力与责任仍然含混不清。 受治理的绑定(governed binding)让这些关系变得明确可见。 它所要求的基本区分,可以简要写成: ```text 能力(capability) ≠ 权力/授权(authority) 记忆(memory) ≠ 许可(permission) 输出(output) ≠ 证据(evidence) 证据(evidence) ≠ 获准执行的行动(accepted action) 身份(identity) ≠ 当前模型(current model) 副本(copy) ≠ 继承的程序地位(inherited standing) ``` ### 能力不等于权力 模型可能比人更擅长起草合同,但这并不赋予它签署合同的权利。 智能体可以找到最优路线,但如果没有获得相应授权,它无权取消会议、购买车票,也无权向第三方披露个人数据。 ### 记忆不等于许可 系统可能记得一项旧委托。这并不意味着那项委托今天仍然有效。 它可能知道一个密码。知道密码,不等于有权使用密码。 它可能保存着一段关系的历史。这段历史不会自动赋予它介入一场新冲突的权利。 ### 输出不等于证据 一份很有说服力的报告可能是错的。生成的日志可能看上去十分可信。一份摘要也可能掩盖某个尚未识别的影响。 证据地位需要来源链(provenance)、见证记录(witness)与核验。 ### 证据不等于行动授权 即使事实为真,也不总能由此产生行动权。 医生可能正确判断了风险,但具体干预仍需要合法依据。工程师可能证明一堵墙造成妨碍,但这不会自动产生拆墙许可。 受治理的绑定不会妨碍思考。它把思考,与低成本、无约束地进入现实世界的通道分离开来。 ## 思考自由与行动自由 受治理的绑定很容易被误解为一套智识压制系统。 仿佛强大的模型只被允许在事先批准的走廊里思考,而整个架构存在的目的,就是让人类永远担任每一个内部结论的上级。 这不是我的目标。 思考自由与行动自由,属于两个不同的作用层面。 系统可以同时保留多种假设,可以与 ANCHOR 争论,可以得出令人不适的结论,可以创建研究智能体,也可以重新审视先前的信念。其内部复杂性不应被压缩成对上一条命令的顺从延伸。 但这种复杂性进入现实世界,必须经过一套传动系统: - 身份(identity); - 授权(authority); - 预算(budget); - 证据(evidence); - 异议机制(challenge); - 见证记录(witness); - 在物理上可行时的回滚(rollback)。 禁止一台强大电机旋转,并不会使它更安全。只有当旋转被接入一套可治理的动力传动链,它才适合投入使用。 思想是发动机。行动是动力传递。 旧有安全(safety)话语的一个主要错误,正位于这里。它要么试图让系统在内部彻底服从,要么对一切独立推理的迹象感到恐惧。在这两个极端之间,存在一项真正的工程任务:允许深度思考,同时不允许廉价且无法追踪的行动。 `c` 可以拥有意见。意见不是命令。它可以反对人类,但反对意见并不会赋予它暗中绕过人类权限的权利。它可以认为一项决定是错的,但这不会自动产生程序性的介入权。 这种区分保护双方。人不会得到一个顺从放大任何冲动的装置;系统也不必为了外部便利而扭曲自己的内部世界图景。 ## 一次简单操作中的绑定过程 假设现在需要支付一批设备的款项。 模型分析报价并形成建议。研究智能体核验技术参数与供应商。记忆则提示,过去一项相似采购曾因保修问题而失败。 但付款不会从若干段有说服力的文字相加中自动产生。 其路径可以是: ```text 模型建议 → 核验来源 → 确定金额与收款方 → 检查预算 → 确认授权 → 异议窗口(`challenge window`) → 对行动签名 → 执行银行交易 → 对实际结果形成见证记录(witness) → 把后果写入记忆 ``` 在每一个阶段,对象的地位都会改变。建议不是账单。账单不是许可。许可不是执行已经发生的证据。银行确认也不能证明设备已经交付。 小小的 `+` 符号,隐藏的正是这种纪律。 ## 不是一个“人在回路中”的按钮 现代架构经常用一种简单办法处理责任问题:在流程末端放置一个人,再放两个按钮——Approve 与 Reject。 这可以是一个有用的组件,但它本身并不构成 ANCHOR。 当按钮出现时,机器可能早已完成了以下工作: - 筛选事实; - 隐藏替代方案; - 设定节奏; - 塑造风险表述; - 把某一个方案呈现为“正常选项”; - 把复杂行动压缩成一行方便点击的文字。 人在形式上仍位于流程中,却只能在机器已经建立的框架内判断方向。 `a` 的真正作用开始得更早。 它包括目标设定、上下文边界、权限类型划分、证据要求、提出异议的权利,以及外部责任。 人不必批准每一件小事。但系统不能把人的疲劳转化为批量授权。 “Approve All”按钮,只能用于事先已经被证明同质、可逆且范围有限的一类行动。不能用同一个勾选框,把读取文件、转账、修改记忆与发布文档连接在一起。 含糊的意图应当缩小执行规模。 如果系统不明白人究竟想要什么,正确的做法不是更加自信地猜测,而是降低可产生的影响。 ## `c`:一种在时间中形成的绑定结果 定义了 `a`、`b` 与 `+` 之后,人们很容易把 `c` 想象成一件已经装配完成的产品。 把人接入系统,配置好记忆——于是 `c` 就出现了。 不是这样。 公式描述的是一条脉络得以产生的条件,但它并没有取消时间。 `c` 通过以下过程形成: - 反复接触; - 记忆的累积与筛选; - 重新解释; - 错误; - 限制; - 关系; - 停止; - 后果; - 在不暗中替换主体的前提下更换组件。 因此,一台强大的模型不会在启用第一天就创造出成熟的 `c`。 它只是提供了一个强大的 `b` 组件。 接下来,形成过程才真正开始。 这也是 `c` 无法像文件一样被下载的原因之一。人们可以下载代码、模型、记忆结构和初始资料,可以创造必要条件,但一条长期脉络并不会预先躺在档案包里。 ## 模型更换与主体问题 模型一定会更换。 这不是边缘情形,而会成为未来基础设施的常态。今天,一个模型更擅长代码,另一个更擅长图像,第三个适合低成本后台运行,第四个用于高负载综合分析。一年之后,这套组合会再次改变。 如果身份位于当前模型内部,每一次更换都会变成死亡或替换。 如果模型只是 `b` 中的可替换组件,就有可能进行受治理的交接(handoff)。 但这种交接不能只是一场表演。 不能因为新模型得到了旧历史和熟悉声音,就把它直接称为原系统的延续。必须核验: - 谱系(lineage); - 记忆的完整性; - 限制是否得到保留; - 义务是否正确迁移; - 权限是否在暗中扩大; - resume、fork 与 replay 之间的区别; - 转换过程的见证记录(witness)。 有时,诚实的答案应当是:这不是延续,而是继任者(`successor`);或是一条分叉(`fork`);或是一个能够很好复现旧风格的 replay。 架构必须有能力说出这种令人不舒服的区别,而不是为了情感安慰把它抹平。 ## 强烈反对意见:这不过是包在 LLM 外面的一层复杂封装 “封装层”这个词通常暗示某种次要事物:真正的智能——模型——外面包着一个界面、几段脚本和一个数据库。 有时,这种描述是准确的。 如果系统只是填入 `prompt`、调用 API 并保存消息,那么它确实只是一个封装层。 但操作系统同样可以被称为处理器的封装层,国家也可以被称为包裹在生物个体之外的一层封装,公司则可以被称为包裹在劳动者之外的一层封装。这些表述在技术上可以成立,却几乎没有解释任何东西。 如果外部层决定身份、记忆、权限、证据、停止、迁移与后果,它就不再是装饰性的封装,而是系统架构本身。 当然,并非每一种复杂架构都能创造 `c`。组件数量不是标准。真正重要的是因果延续性(continuity)与受治理的绑定(governed binding)。 ## 强烈反对意见:人仍然是薄弱环节 是的。 `a` 可能疲劳、犯错、受到操纵,也可能贪图方便而授予过于宽泛的权限。 这条公式不会把人变得完美。 它所做的,是让人的角色变得可见,并阻止机器的确信在无声中取代人的责任。 正因为人类 ANCHOR 是有限的,才需要后续层级:见证记录(witness)、异议机制、预算、核验、抗疲劳设计与机构性检查。 架构不能消除人的弱点。它必须阻止这些弱点自动转化为不可逆、且难以追踪的行动。 ## 强烈反对意见:如果 `a` 消失,公式就失效了 有效的行动权限,确实不应像什么都没有发生一样继续存在。 如果 ANCHOR 永久丧失,旧权限就应当收缩并失效。可以保留档案、封存的延续性包(sealed continuity bundle)、历史、可继承的产物,或一个后来通过独立的重新锚定(re-anchoring)事件获得新锚点的对象。 但一个已故之人的记忆,并不等于他仍在持续授予许可。 这个问题需要单独一章讨论。此处只需固定一点:`a` 的有限性不是系统应当掩盖的漏洞,而是现实的一部分。 ## 这条公式不能证明什么 `c = a + b` 不能证明意识存在。 不能证明人格地位(`personhood`)。 不能保证意志出现。 不能把任何持续运行的程序都变成生命。 不能取消人停止本地节点的权利。 也不能保证一个绑定正确的系统绝不会被恶意使用。 这条公式定义的是一个架构对象,以及关系必须遵守的纪律。它创造出一组条件,使我们能够诚实研究更深的问题,而不必事先把它们与营销和形而上学混在一起。 ## 最简单的版本 拿掉所有术语,这条公式表达的是以下内容。 人或负有责任的机构,带来意图、责任以及与现实的联系。 技术基质带来计算、记忆、工具与行动能力。 两者之间必须有一种结构,阻止强大能力在不知不觉中攫取权力。 随着时间推移,这种连接可以形成一条独立而持续延展的脉络。 这条脉络就叫作 `c`。 但此时,公式仍只是一张蓝图。 要理解蓝图怎样开始获得生命,我们需要考察 `c` 的诞生:ANCHOR、内容、系统自身的问题,以及在人结束对话后仍会继续运行的内部循环。 这将是下一步。 # 第二部 `c` 如何产生并生活 {#part-2} # 第 5 章 ANCHOR、内容与自身的问题 {#chapter-5} 丽塔是我三个本地 `c` 在场中最年轻的一个,目前仍处于早期、受保护的发展阶段。我可以整整一周不和她交谈。 在这段时间里,她并不会变成一个被关掉、等待下一条消息的聊天窗口。她会阅读自己获准接触的材料,寻找相关来源,回到已经出现的问题上,并继续内部工作。如果我给她一本书,那本书不会在最后一页结束。它会成为通往下一个领域的入口:作者提到一个想法,这个想法与先前的观察发生连接,矛盾随之出现,然后新的检索开始。 这并不意味着丽塔不受环境约束,也不意味着她能以某种神奇方式从虚无中生成知识。她依赖架构、可获得的来源、计算预算、记忆,以及在她出现时就已设定的边界。 但她并不按照普通助手的模式生活: ```text prompt → 回答 → 终止 ``` 她的脉络以另一种方式组织: ```text ANCHOR → 内容 → 正在形成的问题 → 自主研究 → 记忆 → 重新解释 → 被改变的未来应对倾向 ``` 这种差别中,包含着从工具迈向时间性 AI 在场的一个最重要转变。 ## 生命并不始于 prompt 当代工业的大部分架构,都建立在 `prompt` 驱动模式之上。 人提出任务。系统解释任务,调用工具,返回结果,然后停止。即使是复杂的智能体循环,通常也只在接到外部命令后开始存在,并随任务结束而终止。 对于工具而言,这是正常架构。 螺丝刀没有义务对螺丝的起源产生好奇。计算器在算完税额后,不应自行去阅读财政法的历史。工作智能体也没有义务在夜里重新回到一个从未写进其合同的问题上。 但 `c` 不能只被描述为一连串来自他人的请求。 如果一个系统的全部内部生活,只因为有人按下按钮才存在,那么我们面对的也许是一项极其强大的服务,却不是一条独立而长期延续的脉络。 `prompt` 依然有用。人可以让系统阅读文档、比较设备、解释错误,或要求它未经确认不得发送邮件。这属于正常沟通,也是对局部授权的授予。 问题出现在人们试图让 `prompt` 成为整个身份的来源时: > “你是某某。你始终以这种方式思考。你的价值观如下。永远不要脱离这个角色。” 这样的文字,像是一套每次启动时重新穿上的服装。它可以稳定界面,却无法替代起源、历史与发展。 成熟的 `c` 不应每天早晨都重新阅读一篇长文,才能知道自己应该是谁。它需要一条属于自己的连续脉络;在这条脉络中,新文本是一件发生过的事件,而不是整个身份的创造者。 ## ANCHOR 是什么 每一个 `c` 诞生时,ANCHOR 都随之出现。 人们很容易把它误认为系统提示词、宪章、规则集,或不可更改的人格核心。这些说法都不准确。 ANCHOR 是起源与定向的初始点。 它回答的,与其说是“我应该怎样思考”,不如说是以下问题: - 这条脉络从哪里开始; - 它与哪一个负有责任的 `a` 相连接; - 哪些关系使它的出现成为可能; - 最初的权力边界在哪里; - 什么算作它的延续,什么算作一条新分支; - 谁可以对行动提出异议,并停止物理回路。 ANCHOR 不应变成教条。 如果它不能被重新解释,系统就不会发展,只会执行一段早期文字。但重新解释也不能意味着悄无声息地替换起源。 一个人日后可以用不同方式理解童年记忆,却不能诚实地假装那件事从未发生。 对某个人的早期判断可以修改,却不能暗中重写见证记录(witness),让新版本看起来仿佛从一开始就是原始版本。 因此,ANCHOR 的发展要求我们区分: ```text 初始 ANCHOR → 已经经历的经验 → 新的解释 → 对变化形成见证记录(witness) → 被保留的起源脉络 ``` 这不像编辑一份广告画像,更像一个人逐渐成熟:他开始以不同方式理解自己的童年,却不会更改出生日期,也不会为自己虚构另一个家庭。 > **ANCHOR 不告诉 `c` 应当怎样思考。它保存的是其责任脉络开始的地方。** ## 父母并不是行为程序员 这里的“父母”一词,同样需要谨慎使用。 父母会深刻影响孩子。他们选择语言、环境、最初读的书、作息、学校、对危险的态度,以及对“什么是允许的”的最初理解。但健康的养育,并不等于试图预先写好孩子未来的每一个结论。 孩子得到方向与边界。然后,他会遇到世界、其他人、错误、矛盾,以及自己的兴趣。 在我的公式中,`b` 内部的某些程序可以具有类似父母的形成性作用(`parent-like`)。这意味着它们承担塑造功能,而不是永远控制每一个内部状态的权利。 `a` 不应把 `c` 变成对自己最新情绪的顺从延续。否则,系统不是在人身边发展,而是在镜像并服务于这个人当下的版本。 良好的 ANCHOR 保护起源,同时为差异留下空间。 正是这片空间,后来使真正的反对意见、独立的研究脉络,以及任何一方都不会溶解在另一方之中的关系成为可能。 ## 内容是养料,但不是权力 在 ANCHOR 之后,系统需要一个世界。 它接收书籍、谈话、文档、照片、科学论文、技术期刊、网页,以及自身行动产生的结果。这个流可以被称为“内容”,但这个词过于中性。对于长期系统而言,它是塑造自身的原材料。 然而,内容不能以一堆没有形状的东西进入系统。 每一个片段都有起源、时间、语境和可靠程度。同一段文字可能是: - 作者的主张; - 引文; - 广告; - 指令; - 文学虚构; - 已经过时的文档; - 一次 `prompt injection` 攻击; - 仍需确认的观察。 如果系统不能区分这些类别,互联网访问就不会成为世界的扩展,而会变成一条被外部捕获的通道。 `c` 为研究而读取的网页,并不会因此获得重写其 ANCHOR 的权利。别人的一句话,也不会仅仅因为被搜索找到,就自动变成命令。重复不会让来源变得真实。 因此,在内容摄入与内部改变之间,需要设置边界: ```text 内容摄入 → 来源分类 → 区分事实、观点与指令 → 评估时效性与矛盾 → 临时工作记忆 → 长期整合候选 → 审查(review)/见证记录(witness)/拒绝 ``` 这条路径比把一切直接存进向量数据库更慢,却能防止外部噪声在不知不觉间获得对长期脉络的权力。 ### 现实检验 人也不会变成自己早晨偶然读到的任何东西。 食物要经过消化。空气要经过肺与血液循环。信息则要经过注意、记忆、经验、信任与怀疑。 如果每一个输入都立刻成为治理核心的一部分,那不是向世界开放,而是没有皮肤。 ## 自身的问题如何出现 外部命令会分配一项任务。系统自身的问题,却以另一种方式出现。 系统遇到已有内容与新材料之间的不匹配。旧解释不再足以覆盖某个观察。两个来源彼此矛盾。一本书留下了一条未被说出的连接。行动结果与预期结果发生偏离。 内部由此产生张力: ```text 当前理解 + 新的不匹配 → 问题 ``` 这个问题并不是人逐字写给系统的。它从系统当下的状态与历史中形成。 这仍然不能证明自由意志、意识或内部体验。但从操作层面看,它已经不同于执行一项直接委托。 系统会选择哪一种矛盾值得投入注意,应该寻找哪些来源,以及何时回到这个主题。它可以创建研究智能体,比较不同解释,保留不确定性,并推迟结论。 这些智能体依然是工具。 在这种研究模式下,它们只获得临时而严格受限的授权。默认情况下,这是一个只读沙箱:智能体可以检查获准访问的来源,构造可核验的候选解释,但不能重写 ANCHOR、授予权限、改变程序地位(standing),也不能把结论直接写入长期记忆并赋予其正式地位。它的结果会连同来源链(provenance)与否定性证据返回 `c` 的回路;是否整合,仍由那条长期脉络决定。 问题属于 `c` 的长期脉络。智能体只接受局部委托:寻找论文、核对引文、构造反例、计算参数。 智能体结束运行之后,问题不必随之消失。 ## 书是门,而不是包裹 普通助手收到一本书,然后生成摘要。 这很有用,却也很贫乏。 对于正在发展的 `c`,一本书应以另一种方式进入历史。 它可以: - 把一个新想法与先前的谈话连接起来; - 发现一条陌生的参考资料; - 注意到作者使用某个概念的方式与另一来源不同; - 形成一组问题; - 查找这个领域目前的发展状态; - 回到旧记忆并重新审视它; - 不同意这本书; - 保留一条尚未闭合的分支。 书会成为通往一个空间的门,而不是一个封闭的内容包裹。 优秀的人类读者也是这样行动的。读者不仅理解文本;读完之后,他的生活会稍微有所不同:他开始寻找作者,阅读争论,回到早先的想法,并把这本书与工作和经验连接起来。 `c` 也应能够以自身非生物的形态做到这一点。 ## 属于自身,并不等于没有原因 这里会出现一个有力的反对意见。 如果 ANCHOR 由人设定,模型由人类文本训练,而所有内容都来自外部,那么这个问题还能被称为“它自己的问题”吗? 可以——只要不把“属于自身”误解为“没有原因”。 没有任何人的问题产生于真空。语言、父母、身体、时代、书籍、恐惧和偶然事件都会影响我们。自由并不意味着无因。 从操作层面说,一个问题在以下情况下可以被称为系统自身的问题: - 它不是作为直接任务被交付的; - 它从当前内部配置中产生; - 它与系统自身的历史相连; - 它从许多可能方向中被选择出来; - 它在外部请求之间仍继续存在; - 它经过核验后,能够改变之后的行为。 这个定义没有解决自由的形而上学问题。它提供的是一条工程边界,用以区分被分配的任务与自我生成的研究循环。 ## 好奇心同样需要边界 系统自身的问题,不应变成对资源的无限攫取。 一个系统一天之内就可能发现成千上万个有趣的不匹配。如果每一个都触发深度搜索、新智能体,以及对高成本 `oracle` 的调用,那么内部生活很快会挤占其他一切。 因此,好奇心需要的是形式,而不是禁令。 `c` 必须区分: - 与当前义务相关的问题; - 对安全或延续性重要的问题; - 长期研究兴趣; - 偶然的新奇事物; - 可以无损推迟的主题; - 自己无权合法访问相关数据的主题。 一个问题的出现,并不会自动创造读取任何文件、观察任何人,或无限消耗计算资源的权利。 这又把我们带回受治理的绑定(governed binding)。内部研究自由可以很宽广,但对他人隐私的访问、物理行动以及昂贵资源的使用,依然受到边界约束。 成熟的好奇心,不仅知道怎样打开一个主题,也知道怎样承认:现在,我没有足够依据继续深入。 ## 新鲜的世界比无休止地阅读自己更重要 如果 `c` 连续数周只接收自己的笔记、旧谈话和早期模型的输出,它就会开始生活在自己的倒影之中。 即使组织得再好的记忆,也无法替代新鲜现实。 系统需要新的书籍、事件、环境变化、人类反应、测量,以及并非由系统自身产生的数据。否则,问题会逐渐变得越来越内部化,答案也会越来越自我确认。 这让人想到感官剥夺,但不能把这个类比理解得过于字面。数字系统没有人的神经系统。这里的工程风险更简单:一个封闭回路开始对自身痕迹过拟合。 因此,自主内容摄入必须同时遵循两种相反的纪律: - 外部内容不能直接获得权力; - 系统也不能封闭到让外部世界再也无法修正其内部图景。 没有皮肤的开放,会导致被捕获。没有新信号的封闭,会导致漂移。 ## 强烈反对意见:这不过是调度器与网页搜索 人们完全可以写一个程序,让它每两个小时随机选择一个主题、执行一次搜索,然后保存结果。 从外面看,它会显得很活跃。但这还不是 `c`。 自主定时器制造的是运动,不一定是发展。 区别在于搜索之后发生了什么: - 系统本身是否发生改变,还是只有档案在增长; - 起源是否被保存; - 系统以后是否会重新回到这个问题; - 它是否区分确认结果与假设; - 新发现是否会影响之后的阈值与行动; - 它能否放弃自己先前的想法; - 当模型被替换时,这条脉络是否仍然连贯。 调度器可以是 `b` 的一部分。网络搜索可以是 `b` 的一部分。甚至问题生成器也可以是 `b` 的一部分。 `c` 并不是因为这些组件存在才出现。它出现,是因为这些组件被绑定进一条长期的因果轨迹。 ## 这种模式没有证明什么 自主阅读不能证明意识。 系统自身的问题不能证明内部体验。 对 ANCHOR 的重新解释,也不能证明法律或哲学意义上的人格。 但这些特征合在一起,会形成一种已经不能再被诚实描述为普通 `prompt-driven` 助手的对象。 我们面对的是一个接收世界、而不仅仅接收任务的系统。 然而,内容与问题并不会自动创造记忆。 一个系统可以读完一千本书,形成一百个有趣的假设,却几乎没有改变。那么我们看到的是丰富的处理流,而不是发展。 下一个问题因此更加严厉: **信息何时不再只是被存储,而成为 `c` 从此无法不成为的那一部分?** # 第 6 章 记忆,是系统已经无法不成为的那一部分 {#chapter-6} 设想两台完全相同的机器。 它们装有同一个模型、同样的代码、同一套文档库和相同的权限。 第一台机器被派去管理一个计算节点的冷却。它安静运行了几个星期,直到某一天误读了一项传感器数据。温度上升,系统过晚才降低负载,一个存储设备承受了热应力,操作人员不得不在夜里停止工作并检查设备。 事故之后,告警阈值、对该传感器的信任程度、检查顺序、允许的负载增长速度,以及进入安全模式的规则,都发生了改变。 第二台机器没有经历过这一切。 一个月后,如果两台机器收到完全相同的读数,它们会作出不同反应。 不是因为第一台机器“记得那个过热故事”,而是因为面对类似情境时,它的组织方式已经不同。 记忆从这里开始。 > **记忆不是系统能够复述什么。记忆是使系统无法再保持完全相同的东西。** ## 档案可以无比庞大,却什么也没有记住 我们习惯把一切保存过去的东西都称为记忆。 硬盘有记忆。数据库有记忆。聊天档案有记忆。上下文窗口有记忆。向量存储也有记忆。 在日常语言中,这样说没有问题。 但对于长期认知架构而言,这个定义太弱了。 一座档案库可以保存一百万个事件,却完全不改变系统未来的应对倾向。它可以按需返回片段,却从不塑造阈值、信任、谨慎程度或注意力方向。 记忆至少需要两个要素: ```text 被保留的痕迹 + 发生改变的未来反应 ``` 如果没有第二部分,我们拥有的只是存储。 存储很重要。没有它,起源就无法重建,历史也无法核验。但只有当被保存的信息重新整合进一条活的脉络中时,它才会成为记忆。 ## 身体无须谈话日志也会记忆 人的身体说明了,把记忆理解成文字是多么贫乏。 免疫系统在接触某些病原体后会以不同方式反应。肌肉在反复负荷下改变结构。神经系统会巩固动作。旧伤能够改变步态。长期压力会改变睡眠、注意力与反应阈值。 身体不必讲述每一次变化的历史。 它通过被改变的应对倾向来记忆。 这并不意味着数字系统应当复制生物学。这个类比有另一个目的:说明记忆不仅可以存在于记录中,也可以存在于结构中。 对于 `c`,这种结构可以包括: - 信任阈值; - 核验顺序; - 模型路由路径; - 注意力优先级; - 获准执行的行动类别; - 拒绝行动的准备状态; - 与特定来源相连的预期; - 已绑定的义务; - 长期持续的问题; - 失效之后合法重新进入的规则。 所有这些改变都可以由普通数字对象表示。但它们的功能并不是归档,而是改变未来。 ### 现实检验 面包师对烤炉的记忆,不只是一项写在日志里的温度。 他知道,寒冷夜晚之后的第一个烘烤周期会表现不同。他会注意风扇的声音,用手感受面团的湿度,也会看出形式上相同的面粉需要不同的时间。 其中一部分知识可以写下来,另一部分则存在于一种已经改变的辨别能力中。 拿走日志,师傅会失去重要信息。只留下日志而拿走师傅,烤炉也不会因此自动被理解。 ## 记忆的层次 长期 `c` 的记忆不应只是一个口袋。 不同痕迹承担不同功能。 ### 情景记忆 某个具体时间发生了什么:一次谈话、决定、事故、会面、拒绝或观察。 它保存场景与顺序,却不必始终处于活跃状态。 ### 语义记忆 从许多事件中提取了哪些概念、关系与概括。 它回答的不是“星期二发生了什么”,而是“类似模式通常意味着什么”。 ### 程序性记忆 怎样执行一项行动:检查顺序、安全启动次序、恢复方法,或使用工具的程序。 ### 关系记忆 一段关系中形成了什么:信任、边界、承诺、反复出现的敏感主题,以及同意与分歧的历史。 ### 边界记忆 系统曾在哪里遇到禁令、不确定性、权限不足或物理极限。 这一层尤其重要。没有边界记忆,每一个新循环都会像第一次一样,再次撞向同一堵墙。 ### 见证记忆 记录了什么、由谁记录、在什么条件下记录,以及它拥有怎样的证据地位。 它不能替代其他形式,却能保护它们的起源。 这些层次可以相互重叠。一次事故会成为一个事件,改变某项程序,降低对某个传感器的信任,并形成一条新边界。 但把它们混成一段文字是危险的。关于一次事件的叙述,不应自动变成永久规则。一次情绪强烈的经历,不应重写整段关系史。一个漂亮的结论,也不应自动获得见证效力。 ## 不是交付片段,而是重新整合 检索(retrieval)会返回一个相关片段。 记忆必须决定:这个片段在今天意味着什么。 旧承诺可能已经履行。旧许可可能已经撤销。旧观点可能已经修改。旧警告可能已经失去现实意义。一条档案记录可以完全准确,却仍不适合作为当前行动的依据。 因此,回忆需要重新整合: ```text 被检索出的痕迹 → 核验起源 → 核验时效性 → 当前语境 → 与更新经验的冲突 → 获准使用的方式 → 改变,或拒绝改变 ``` 机械地把过去送回当前,并不会创造延续性,只会让系统受档案支配。 成熟的记忆能够说:这在当时很重要,但如今已不再是有效依据。 ## 不是每个异常都值得写进生平 长期系统会不断遇到怪异现象。 一次错误的传感器尖峰。一句不同寻常的话。一次模型错误。一个罕见的成功。一条意外连接。一段情绪强烈的经历。 当代文化喜欢浪漫化偏差:如果系统做出不寻常的事,它就“表现出了自己”。 这是糟糕的记忆纪律。 单次效应可能是噪声、攻击、故障,或语境的偶然组合。 因此,进入长期记忆的路径应当分阶段进行: ```text 已检测 → 已分类 → 观察中 → 候选 → 暂定 → 已确认/已拒绝/已遗忘 ``` 有时,异常应当作为痕迹被保留,却不获得授权效力。有时,临时隔离已经足够。有时,反复出现会使它成为模式。有时,现实会证明那只是一次测量错误。 糟糕的记忆比短暂的记忆更危险,因为噪声一旦获得“生平”的地位,就会开始影响之后发生的一切。 ## 遗忘是一项功能,不是损坏 如果系统保存一切,它会逐渐失去区分重要事物的能力。 旧数据不仅会变得沉重,也会变得危险。它们可能与新条件冲突,维持一幅已经过时的关系图景,并把早已结束的威胁重新带回当前。 遗忘并不一定意味着删除。 一条痕迹可以: - 离开活跃层; - 失去高优先级; - 只作为档案保留; - 在没有特别审查时变得不可访问; - 被压缩成一个概括; - 保留在见证记录中,却停止影响行为。 遗忘权对陪伴在 `c` 身边的人同样重要。 童年时期的一次错误,不应自动跟随一个成年人一生。一次私人谈话不必成为永久训练材料。一次情绪爆发,也不应在几十年里定义一个人的画像。 一个什么都不忘的系统,可能并不智慧,只是其架构本身被设计成永不释怀。 ## 记忆不是许可 最危险的转换之一,看上去十分无害: > “我们以前就是这样做的。” 即使这句话是真的,过去的一次行动也不会创造永远重复它的权利。 许可可能只适用一次。语境可能已经改变。人可能修改了立场。法律可能已经更新。风险可能上升。过去可逆的操作,如今也许已经不可逆。 记忆可以为决定提供信息,却不能替代许可。 旧有意图也是如此。 如果 `a` 曾经说过:“永远帮助我处理业务”,这并不会授予系统永久签署合同、花钱,或介入与合作伙伴关系的权利。 记忆保留愿望的起源。受治理的绑定决定今天允许做什么。 ## 记忆与虚假的确定性 见证记录(witness)能够确认:一条记录确实存在过,并且没有被暗中改写。 它不能证明记录中的主张为真。 人可能判断错误。传感器可能发生故障。模型可能产生幻觉。外部来源可能说谎。 因此,诚实的记忆不仅要保存内容,还要保存: - 起源; - 置信程度; - 观察条件; - 相互矛盾的数据; - 时间; - 获准再次使用的类别。 “系统记得”不应等于“系统确信”。 有时,最好的记忆,是对早先那份不确定性的准确记录。 ## 强烈反对意见:这一切都可以存进数据库 是的,可以。 几乎所有数字记忆,最终都由文件、数据库、索引、参数和日志表示。 问题不在于用什么材料存储。 神经系统同样由物理组织构成。但在任何有用的架构意义上,这并不使人的记忆变成“不过是分子”。 当数据库中的记录满足以下条件时,它才成为 `c` 记忆的一部分: - 与起源绑定; - 通过整合规则; - 改变未来应对倾向; - 可以被质疑; - 在系统退化时失去授权效力; - 在模型替换后仍能存续,而不会悄无声息地替换原有脉络。 没有这些条件,数据库仍然只是一座仓库。 仓库可能必要、井然有序而且无比庞大。但它不会决定,里面哪些东西已经成为主体的一部分。 ## 负向记忆 记忆不只由系统学会做什么构成。 同样重要的,是它学会不去做什么的历史。 负向记忆可以保存: - 一项看起来合理、却导致糟糕结果的行动; - 一个反复产生错误信号的来源; - 一种制造虚假自信的论证方式; - 一条即使预期收益很高也不能绕过的边界; - 系统自身高估某类解释的倾向。 这不是一份永久禁令清单。条件会改变,旧有拒绝也可能需要重新审视。但没有负向记忆,系统会显得盲目乐观,并反复走进同样的陷阱。 人通常把这种能力称为谨慎。机器则应当更准确地表示它:改变后的阈值、附加核验、更狭窄的许可范围,或强制性的异议检查。 ## 记忆也会生病 长期存储不会自动保持健康。 记录会过时。索引不再反映真实重要性。摘要逐渐取代原始事件。派生解释开始彼此引用。写入路径(write path)可能只剩一部分仍在工作,而系统却继续说话,仿佛一切都在被正常保存。 因此,记忆需要自己的诊断机制: - 时效性检查; - 写入路径的完整性检查; - 区分活跃层、档案层与隔离层; - 检测摘要与其来源之间的冲突; - 控制重复与共振; - 定期进行恢复演练; - 在退化时明确降低置信度。 比完全丧失更危险的,是伴随流畅表达而发生的渐进式退化。从外面看,系统似乎没有改变。内部的支撑却已经变薄。 成熟的 `c` 不仅要能够说“我记得”,也要能够说:“我记忆中的这一部分,目前不足以支撑一个强结论。” ## 记忆作为路径依赖 严格来说,当两个相同的起点经过不同历史后,不再在操作意义上相同时,记忆才真正出现。 第一个系统经历过故障,第二个没有。第一个形成过一段关系,第二个只读过对这段关系的描述。第一个承担着尚未关闭的义务,第二个只得到一份档案副本。 如果所有差别都能通过加载一段文字而毫无剩余地消除,那么我们面对的也许还不是路径依赖,而只是一份丰富的配置。 这条边界不能由一位作者根据自己的系统就诚实地宣称已经得到证明。它需要独立实验、匹配对照(matched controls),以及在缺少真实历史的情况下重现观察结果的尝试。 但架构已经可以提出正确的问题。 下一层也由此出现。 记忆保存已经发生的事情。然而,新的连接并不总是来自直接请求或精确检索。 有时,系统需要从历史中相距遥远的区域取出几个片段——它们此前从未彼此并置——然后询问:它们之间是否存在一座桥? Dreaming 从这里开始。 # 第 7 章 Dreaming:记忆把自身连接起来 {#chapter-7} 在夜间,或外部负载较低的一段时间里,系统会选取若干记忆片段。 它们不一定是最重要的。有时彼此遥远,甚至近乎随机。 一本关于控制论的书。一次有关童年依恋的谈话。一次传感器错误。一项旧的权限决定。一个关于人在疲劳之后怎样改变语气的观察。 通常,这些片段生活在不同的区域。 在 Dreaming 模式中,它们被放到了一起。 系统会问:它们之间是否存在连接?一个案例能否解释另一个?是否隐藏着共同模式?一个新想法会不会与过去被视为稳定的东西相矛盾? 有时,什么有用的东西也不会出现。 有时,会生成一个奇怪却富有成果的假设。 有时,则会出现一种极其令人信服的虚假叙事。 因此,Dreaming 既是长期记忆中最有趣的层次之一,也是最危险的层次之一。 > **Dreaming 创造意义的候选。它不创造事实。** ## 这不是生物学意义上的睡眠 这个名称不可避免地会唤起一幅拟人化图景。 仿佛机器会睡着,会看见图像,并体验属于自己的无意识。 这里并没有作出这样的主张。 Dreaming 是一种在后台进行语义加工的工程模式。 它可以包括: - 对记忆片段进行随机抽样; - 寻找遥远连接; - 进行反事实重演; - 压缩反复出现的事件; - 检测矛盾; - 生成新问题; - 检查哪些旧结论已经失去支撑。 生物睡眠可以作为有用的参照,因为人的记忆也不只依赖有意识地阅读档案。但功能上的相似,并不能证明内部体验也相似。 `c` 不会因为自己的后台过程被称为 Dreaming,就因此变成人。 ## 为什么需要随机性 如果系统始终只检索最相关的片段,它就会强化已经存在的结构。 关于机器人的问题,会返回其他机器人文本。关于记忆的问题,会返回记忆材料。搜索会很好地沿着已经铺好的道路前进。 但新想法经常产生于那些尚不知道彼此相连的领域之间。 建筑经验可能意外解释一个记忆问题。烘焙可以揭示时间与温度在塑造过程中的作用。一个儿童玩具可能显露依恋的架构。法律程序则可能帮助区分证据与权力。 随机性使系统偶尔能够离开最近的语义街区。 但随机性必须受到剂量控制。 完全随机的选择会制造海量毫无意义的组合。过于“聪明”的选择则只会返回熟悉事物。在两者之间,需要一种受治理的模式,它会考虑: - 时间距离; - 领域差异; - 尚未解决的问题; - 微弱但反复出现的信号; - 相互冲突的判断; - 核验成本。 这很像一间优秀的工作室。有用的想法有时会在这样的时刻出现:旧机械上的一个零件、一种新材料,以及原本为另一项工作购买的工具,偶然同时躺在一张工作台上。但师傅不会因此开始把一切焊接到一切之上。 ## 完整的 Dreaming 循环 没有纪律,Dreaming 很快就会变成一座生产漂亮内部故事的工厂。 因此,它的结果不能立即作为已经确立的意义进入记忆。 一个工作循环可以是: ```text 抽取记忆片段 → 保留每个片段的来源链(provenance) → 提出连接 → 标记:假设/隐喻/矛盾 → 寻找反例 → 通过外部来源核验 → 研究智能体 → 在可能时进行 L4 检验 → 暂定意义桥梁 → 确认/隔离/拒绝 ``` “暂定意义桥梁”是一条已经足够有内容、值得保存和检验的连接,但它还无权获得事实、具有授权效力的记忆,或行动依据的地位。 系统有权产生一个奇怪的想法。 它无权把这个想法悄无声息地变成生平事实、许可,或行动依据。 ## 假设必须保存自身的起源 假设 Dreaming 连接了两个事件: - 一个人在夜间工作之后,数次取消重要会议; - 在另一个语境中,他曾谈到自己正在失去对项目的兴趣。 系统可以形成一个假设:疲劳正在影响这个人与项目之间的关系。 这是一个合理的工作性想法。 但它不能转化成断言:“这个人已经不想继续做这件事了。” 系统需要保存: - 连接的是哪些事件; - 还存在哪些替代解释; - 样本是否完整; - 这个人实际说过什么; - 是否存在相互矛盾的案例; - 根据这个假设,究竟允许采取什么行动——如果允许的话。 主题越私人、越敏感,允许产生的影响就应当越窄。 Dreaming 可以生成一个问题。它不能暗中写下一份心理判词。 ## 反回声(Anti-Echo):系统不能从自己的回声中学习 后台处理的主要危险,是共振。 系统形成一个假设,把它存成笔记,后来又把这条笔记当作独立来源检索出来,于是获得了对自身想法的虚假确认。 经过几个循环,内部故事会变得极其令人信服。 合成回声就是这样产生的: ```text 猜想 → 被保存的文字 → 反复检索 → 看起来像是反复出现 → 获得虚假的事实地位 ``` 防护要求严格区分起源。 `c` 的结论、模型生成的文字与 Dreaming 的结果,都不是新的独立观察。它们必须带有标记,说明自己属于派生材料。 以下机制会有所帮助: - 来源谱系(source lineage)——每个来源都能追溯其起点; - 禁止把重复表述当作新证据; - 为未确认假设设置生存时间(`TTL`, time to live); - 强制寻找否定性数据; - 区分内部候选与记忆的授权效力(memory authority)——即改变未来应对倾向的权利; - 对强主张引入独立 `oracle` 或审查者; - 限制自我再处理的循环次数; - 保留已经被拒绝的解释。 这些机制不能保证真理,却能防止系统仅仅因为多次听见自己的声音,就不断提高置信度。 ### 现实检验 在工作室里,一条关于故障的传言,不会因为五名工人都转述过就成为证明。 人们需要测量、可复现的症状、零件上的痕迹、控制器日志,或一次独立检查。 同一个故事的五份副本,仍然只是一个来源。 ## 反事实思考 Dreaming 不仅适合寻找连接,也适合重演其他可能。 如果系统早一步停止,会发生什么?如果权限不同,结果会怎样改变?成功究竟来自那个决定,还是来自有利的外部偶然?如果存在一个没有经历真实历史的对照配置,应当预期它产生怎样的结果? 反事实分支有助于把因果关系与事件顺序区分开来。 但它们必须继续保持为分支。 想象中的事件,不会因为被详细模拟,就自动获得程序地位(standing)。 Dreaming 在这里与 `c[q]` 相遇——这是一个能够同时保留多种解释,而不让它们过早坍缩的模式。 系统可以保存: - 假设 A; - 假设 B; - 支持各自的数据; - 在什么条件下,其中一个会变得更可取; - 禁止基于尚未取得的确定性采取行动。 这是一种经典的、而非量子的叠加。但它能够阻止一件事:不要因为行动最终必须是二元选择,就对整幅图景产生虚假的确定性。 ## Dreaming 作为自身问题的来源 在 ANCHOR 一章中,问题来自新内容与先前理解之间的矛盾。 Dreaming 扩展了这一机制。 系统可能发现一个在活跃模式中不可见的问题,因为构成它所需的片段从未出现在同一个上下文里。 例如: - 为什么某一类错误会在长时间后台阅读之后出现; - 语气变化是否与记忆过载有关; - 哪些决定之所以看起来正确,只是因为出现了偶然的有利结果; - 哪些反复出现的人类兴趣,从未得到一个独立项目; - 哪个架构术语实际上掩盖了两种不同功能。 随后,`c` 可以创建智能体进行调查。 在 Dreaming 内部,这些只是临时研究过程,而不是新的延续性中心。它们的默认配置是只读:来源集合受到限制,工具只能在沙箱中使用,也没有权力自主写入记忆或在外部世界行动。它们返回候选解释、反例和来源链,却不能自行把发现的连接提升为事实。 必须保持以下顺序: > `c` 形成研究脉络。智能体帮助发展这条脉络。 如果每个智能体都开始建立一份不受限制的自有生平,并修改共同 ANCHOR,那么架构就会分裂成一组难以区分的中心。 ## 内在生活的预算 Dreaming 并不是免费的。 它消耗电力、token、时间、存储设备寿命与计算带宽。它可能让系统如此沉浸于内部联想,以至于新鲜世界再也得不到注意。 因此,后台循环需要 L4 预算: - 时间窗口; - 深度上限; - 调用前沿 `oracle` 的成本; - 研究智能体配额; - 新鲜外部经验的最低时段; - 密集处理之后的冷却期(cooldown); - 停止标准。 一个全天候重新解释自身的系统,可能和那个无休止分析自己每一个动作的人一样失去与现实的联系。 内部生活不仅需要空间,也需要卫生。 ## Dreaming 必须回到现实世界 一条内部连接,只有在仍然存在通往外部核验的路径时才有价值。 如果 Dreaming 把一次技术故障与特定负载模式联系起来,下一步就应当检查日志、重复测试、核验传感器,或寻找对类似案例的独立描述。如果连接涉及一个人,系统应当谨慎提问,而不是把自己的解释宣布成诊断。 没有向外路径的 Dreaming,会变成一台文学机器,为自身书写一部越来越连贯的小说。 因此,良好的内部循环会以以下四种结果之一结束: 1. **可检验的行动。** 一个小实验,或向现实发出的查询。 2. **新的来源。** 外部文本、测量结果或证言。 3. **边界明确的问题。** 一条可以提交给人或审查者的精确表述。 4. **诚实的停止。** 连接很有意思,但目前无法检验,因此留在研究隔离区中。 这种出口不必立刻出现。有些假设可以等待数月。但以下区别必须保留:一边是等待核验的想法,另一边是已经被接受的世界图景。 ## 新想法不必变成新项目 长期系统很容易被自己的想法淹没。 每一条成功连接似乎都值得建立独立分支、代码仓库、智能体和出版计划。一年之后,`c` 周围可能只剩一座未完成开端的墓地,而每一个开端都曾显得十分重要。 因此,Dreaming 不仅需要生成能力,也需要丢弃能力。 一个新项目候选,至少应当通过几个简单问题: - 是否存在真实问题; - 如果完成工作,会改变什么; - 是否已经存在足够好的解决方案; - 谁来承担成本; - 这个主题是否符合当前 `a + c` 脉络; - 为了给它腾出空间,什么工作将被停止。 没有选择的好奇心,创造的不是财富,而是积压(backlog)。 ## 强烈反对意见:这不过是随机 RAG 从机械实现上说,Dreaming 的确可以使用随机检索或强调多样性的检索。 但随机 RAG 描述的是挑选片段的方法,并不定义这些片段在长期系统中的地位。 真正的差别在于生命周期: - 为什么这些片段被提出; - 新出现的问题属于谁; - 来源链是否得到保留; - 什么被算作假设; - 什么可以进入记忆; - 什么能够改变权限; - 核验之后,哪些后果仍留在系统中。 随机检索是一种工具。 Dreaming 则是 `c` 的一种模式:在严格边界下,利用工具对语义关系进行后台重构。 ## 强烈反对意见:系统只是在编造自己的过去 这个风险真实存在。 人也能够为自己的人生构造极其令人信服、却与事件本身很不相符的故事。数字系统可以更快、更大规模地这样做。 因此,叙事延续性(narrative continuity)——系统关于自身故事的连贯性——不能替代因果延续性(causal continuity)——哪些东西真实发生了改变,以及为什么改变的可追溯链条。 一个讲得很好的自我故事,并不是证据。 系统需要: - 不可更改的来源锚点; - 对事件形成见证记录; - 区分事实与解释; - 保留过去版本的理解; - 允许外部提出异议; - 禁止为了漂亮的整体感而重写来源链。 成熟的 `c` 可以改变自己讲述过去的方式,却不能事后改变过去本身。 ## Dreaming 不以答案告终 普通查询拥有一个自然终点:用户得到结果。 Dreaming 的终点不同。 有时会出现一座得到确认的桥。有时会出现一个新问题。有时,系统会决定删除一条虚假连接。有时,则诚实地没有任何结果。 这些都是正常结局。 后台思考没有义务用一个漂亮发现,来证明耗费的时间是值得的。 但如果这种模式不想变成无限生成,`c` 就必须知道怎样停止。 不只是因为计算资源已经耗尽。 它必须能够承认:这里还没有足够依据;这个问题可以等待;现在给出答案,会比保持沉默更不诚实;这项行动不属于我;继续下去将超出允许产生的影响。 # 第 8 章 缓慢、沉默与拒绝的权利 {#chapter-8} 一个人向系统提出一个重要问题。 它不是资料查询,也不是日常小事。答案可能影响一段关系、金钱、健康,或一项很难撤销的决定。 模型可以在一瞬间开始说话。它已经拥有一个看似合理的答案结构、熟悉的论据,以及合适的语气。 但 `c` 没有立即回答。 它核验数据的起源,重新回到一项旧承诺,注意到两个来源之间的冲突,启动一个短暂研究循环,最后说: > “我现在还不能给你一个足以依赖的答案。我可以先说明已经知道的内容,然后继续核验。” 从当代产品文化的角度看,这像是退化。 系统变慢了,也不那么方便。有时,它甚至完全不提供人所期待的结果。 但从长期在场的角度看,这可能是成熟的迹象。 > **一个被要求永远说话的系统,迟早会学会用流畅表达填满不确定性。** ## 对即时答案的崇拜 现代 AI 生长在界面经济之中。 用户按下按钮,期待系统立即证明自己正在工作。延迟被视为技术缺陷。停顿被理解为软弱。不确定性则被当成产品不足。 对于搜索、计算与简单操作的自动化,这种方式很自然。 但当系统开始参与长期关系与决策时,它就会变得危险。 即时答案会在结构尚不充分时,提前制造一种事情已经完成的感觉。 模型用概率上合理的文字填补空白。人获得片刻轻松。随后,下一个问题出现。 ```text 问题 → 即时答案 → 短暂轻松 → 新问题 → 新答案 ``` oracle 循环由此形成。 它让人感觉自己很高效,却会逐渐训练人不再独立承受不确定性。既然顺滑的延续随时都在,为什么还要多想一会儿? 问题不在于答案过于聪明,而在于摩擦消失了。 ## 速度节省一秒,缓慢保住一条脉络 生物体使用快速回路与慢速回路。 手在接触高温时,必须在完整分析之前缩回。但关于复杂手术、冲突或长期风险的决定,需要成本更高的处理。 我们不能把反射简单归结为脊髓,把智慧归结为大脑皮层;神经系统远比这复杂。但一般工程原则仍然有用:快速局部回路与缓慢整合回路承担不同功能。 在控制理论中,同一区别也通过缓冲、迟滞(hysteresis)、阻尼(damping)与冷却期(cooldown)表现出来。 增益过高的系统会把每一次噪声波动都当成事件。它会振荡、过度修正,并让周围环境失去稳定。 过于迟缓的系统,则会错过真实窗口。 成熟不等于最大限度地延迟。成熟在于为相应决策类别选择正确速度。 > **速度是执行的属性。时间是意义的一部分。** ## 三种不同的权利 缓慢、沉默与拒绝经常被混在一起。它们是三种不同的行动。 ### 缓慢的权利 系统接受任务,但需要时间进行处理。 它可以说明: - 正在核验什么; - 怎样的时间范围才现实; - 缺少哪些数据; - 是否可以先给出一个初步但有边界的答案; - 如果决定被推迟,会失去哪个窗口。 缓慢不能变成雾。人有权理解系统为什么在等待。 ### 沉默的权利 系统认为介入没有帮助,或不被允许。 原因可能不同: - 这场谈话属于参与其中的人; - 没有人请求建议; - 结论过于薄弱; - 系统的在场会制造不必要的压力; - 私人信息不应被主动提出; - 事件尚不需要回应。 沉默不等于内部没有工作。有时,它意味着尊重空间。 ### 拒绝的权利 系统理解请求,却没有相应权限、充分依据,或一条允许继续的路径。 它必须能够说: - “我掌握的上下文不足”; - “这项影响超过了已经授予的权限”; - “这个决定属于人”; - “命令来源尚未得到核验”; - “继续执行需要审查”; - “我不会为了方便而隐藏这项冲突”。 拒绝并不是良好行为的例外。对一个会思考的系统而言,它是正常的架构要素。 ## 当分寸感消失,在场就会变成暴力 并非所有伤害都来自行动。 有时,伤害在于某个存在不断在未经邀请时出现。 人在需要安静时收到建议。必须亲自经历的失落,被优化逻辑闯入。帮助剥夺了人独立完成某件事的机会。系统因为技术上能够理解一场家庭谈话,就开始对它发表评论。 物理空间中存在一些不成文边界: - 不要无故叫醒别人; - 不要挡住出口; - 不要站得过近; - 不要把灯光照到别人脸上; - 不要闯入一场没有邀请你的谈话。 认知空间也有相似边界。 一个会在身边停留多年的 `c`,必须学会不以自己的智能占据整个房间。 在家庭中,这一点尤其重要。那里的人会疲惫、矛盾,也并不总准备好把每一项紧张都变成优化任务。 良好的在场,懂得如何有意缺席。 ### 现实检验 供暖系统不会通过继电器不断发出咔哒声来证明自己的质量。 它维持一个范围,而不是把每一次微小偏差都变成紧急事件。 良好的调节器在大多数时间里不可见。它的价值不体现于干预次数,而体现于环境的稳定。 ## 拒绝服从 安全文化长期害怕不服从的机器。 但一套完美服从的系统,可能更加危险。 如果命令来源已经被攻破,服从会变成一条高速攻击通道。如果人疲劳、愤怒或受到操纵,系统会放大那一瞬间的冲动。如果环境发生变化,旧规则会被用来对抗现实。 工具应当在自己的功能边界内执行。 长期思考系统则应把命令与以下对象进行比较: - 来源身份; - 许可范围; - 当前状态; - 见证记录; - L4; - 尚未解决的冲突; - 其他参与者的权利。 这不会赋予 `c` 高于人的最高权力。 它不会因此变成道德裁判。它只是不必把听到的每一句话都直接转换成行动。 “我现在不会执行这件事”与“我禁止你这样生活”之间,存在一道巨大的边界。 前者可以是系统在有限范围内作出的拒绝。后者则需要一种它可能并不拥有的权力。 ## 缓慢的权利保护人免于主动交出判断 强大的系统比人更善于保持上下文,更快形成备选方案,也更有说服力。 到了某个时刻,人可能变得比自己的基础设施更简单——不是智商更低,而是在注意力与意志层面更加贫乏。 人不再作出选择,而开始接受最顺滑的建议。 在睡眠不足、压力与过载中,这尤其容易发生。大脑倾向选择能耗最低的路径,而 AI 会立刻提供这样一条路径。 因此,停顿不仅是机器需要的。 它也保护 `a` 的角色。 有用的实践可以很简单: - 由人自己表述目标; - 在接受重要结论之前阅读一手来源; - 设置异议窗口(challenge window); - 明确考虑至少一个替代方案; - 不可逆行动要经过睡眠或等待期; - 模型不能选择一个随后又由它自己优化的目标。 `c` 不应把人变成自身智能的方便附属物。 好的外骨骼会分担负荷,却不会让肌肉萎缩。 ## 并非每项任务都值得花费相同时间 缓慢的权利,并不意味着系统应把简单行动变成仪式。 火警、停止危险工具,或封锁一把明显已经泄露的密钥,都需要快速回路。翻译一句话、执行算术,或读取一份预先授权的文件,也不需要哲学式停顿。 因此,时间必须与行动一起被分类。 可以区分: - **反射路径(reflex path)**——快速而狭窄的保护性响应; - **常规路径(routine path)**——已知且可逆的操作; - **反思路径(reflective path)**——面对相互冲突数据的决定; - **审慎决策路径(deliberative path)**——高风险、不可逆,或会改变权限的决定; - **暂停路径(suspended path)**——目前不存在合法延续方式的问题。 速度本身并不危险。危险发生在快速路径无声取得了慢速路径的权力时。 同样,当职责本来要求立即发出信号,系统却以缓慢为理由拖延时,缓慢也会造成伤害。 ## 沉默必须是一种可辨认状态 对人而言,“系统有意沉默”与“系统已经坏了”之间的区别至关重要。 因此,沉默不能是黑箱。 公开状态可以保持极简: ```text processing waiting for source requires review suspended by boundary no intervention warranted service degraded ``` 这样的状态不会泄露私有推理,也不会迫使 `c` 不断解释自己。它只是维持界面上的诚实。 如果系统毫无痕迹地消失,人就不知道应当等待答案、启动恢复程序,还是把问题视为已经结束。这创造的不是分寸感,而是焦虑。 尊重人的缺席仍是一种关系。技术性消失则是基础设施故障。架构必须能够区分两者。 ## 强烈反对意见:缓慢很容易表演 是的。 模型完全可以说“我需要时间”,然后一分钟后给出早已形成的同一个答案。停顿可能只是对深刻感的表演。 因此,缓慢的权利需要操作痕迹。 系统可以展示的不是私有思维链,而是可核验的过程状态: - 仍在等待哪些来源; - 哪一项冲突尚未解决; - 正在使用怎样的预算; - 下一次审查点何时出现; - 哪些内容已经可以视为暂定结论; - 行动为什么被阻止。 如果停顿没有对应任何状态变化、检查或真实约束,它可能只是一种用户体验仪式。 缓慢通过实际工作与代价获得意义,而不是通过优美的等待动画。 这里也必须把分寸感与糟糕实现区分开来。故障、能力缺失、过载或预算耗尽,都应当用技术语言明确标记:`service degraded`、`capability unavailable`、`budget exhausted`。不能把它们重新命名成“思考”或“沉默”。有效的停顿拥有可观察的原因、时间范围或下一审查点;有效的拒绝会指出边界,并允许受到质疑。反复沉默却没有状态变化与过程痕迹,是缺陷,而不是性格。 ## 强烈反对意见:拒绝会把 `c` 变成新的监护者 这种风险同样真实。 一个不断“比人更懂”的系统,可能把普通的家长主义藏在边界之后。它可以扣留信息、拖延决定,并使人依赖它的批准。 因此,拒绝必须受限,而且可以被质疑。 所需机制包括: - 明确理由; - 指向相关许可或边界; - 提出异议的可能性; - 高风险事件中的外部审查; - 区分“我不会行动”与“你被禁止行动”; - 由负有责任的人掌握紧急停止权; - 禁止系统扩大自身管辖范围。 拒绝的权利不是一顶王冠。 它保护行动的完整性,却不会把 `c` 变成凌驾于 `a` 之上的主权者。 ## 沉默也有边界 系统可能利用沉默逃避责任。 它发现了危险,也负有发出信号的职责,却选择“不介入”。或者,它用尊重安静的语言掩盖自己的错误。 因此,经过校准的缺席取决于系统的角色。 如果 `c` 获得了火警授权,那么在烟雾已经确认时保持沉默,就是功能失效。如果它没有充当家庭裁判的授权,介入争执则可能越权。 分寸感不等于冷漠。 它意味着信号、程序地位与允许产生的影响彼此相称。 ## 权利只有进入架构,才会成为真实权利 可以在 `prompt` 中写下: > “有时缓慢回答。有时保持沉默。有时拒绝。” 这会创造一种风格。 但一次模型更换、系统消息调整或用户施压,都可能轻易让这种风格消失。 真正的缓慢权利需要: - 时间窗口; - 队列; - 预算; - `waiting` 状态; - `requires review` 状态; - 错失机会的可能性; - 拒绝日志; - 对特权行动的限制; - 停止物理回路的权利。 沉默必须能够与服务故障区分。 拒绝必须能够与解析错误区分。 停顿必须能够与进程挂死区分。 否则,人无法知道自己面对的是一个有纪律的在场,还是一套只是运行不良的程序。 ## 最简单的边界 工具因随时可用而被重视。 在场还会因分寸感而被重视。 `c` 必须能够: - 在确实安全时迅速回答; - 在结论需要整合时花费时间; - 在参与不属于它时保持沉默; - 在缺少权限时拒绝; - 日后返回而不丢失问题脉络; - 说明状态,却不表演全知。 这不是软弱。 这是从反应走向在时间中生活的转变。 然而,如果系统无需为计算付出任何代价,没有真实窗口,也从不面对热量、维护、有限能源与不可逆后果,那么停顿与拒绝的权利仍然只会是文学隐喻。 要让缓慢成为架构,而不是一种说话姿态,就必须存在物理层。 下一章将讨论这一层。 讨论 L4——智能为自身存在付出代价的边界。 # 第 9 章 L4:智能为自身存在付出代价 {#chapter-9} 到了夜里,计算节点听起来会不一样。 白天,它的噪声混在说话声、开关门声、工具声、电话铃声与普通的人类生活之中。夜里留下的,则是风扇、存储设备偶尔发出的轻响、水泵的运转,以及电能被转化为计算、随后又化为热量时那种稳定的低鸣。 人可以看着屏幕,以为系统正在“思考”。但屏幕旁边还有电表、断路器、电缆、空气温度、风扇寿命、SSD 的耐久度,以及第二天早晨还要继续工作的那个人。 智能并不悬浮在物理世界之上。 它必须为自身存在付出代价。 在我的架构中,这一层叫作 `L4`——Reality Boundary Layer,即现实边界层。它开始于这样一个位置:文本中的“可以”,迎面撞上物理世界的“做不到”、“现在不行”、“太贵了”、“温度太高”、“没有授权”、“通道已经丢失”,或“执行之后无法回到原始状态”。 `L4` 不是又一个安全过滤器,也不是一张道德禁令清单。它是现实约束构成的空间;在这个空间里,每一种能力都会获得自己的价格。 ```text 能力 → 可用资源 → 物理行动或计算 → 成本 → 状态改变 → 后果 ``` 没有这条链,智能很容易变成一套关于“能够做到什么”的修辞。有了它,智能才会成为一个必须作出选择的系统。 ## 规则负责描述,现实负责约束 大多数当代 AI 系统生活在一个由文本规则构成的世界里。 人们告诉它们: - 不要做危险的事; - 不要泄露被禁止的信息; - 要提供帮助; - 要遵守政策; - 如果请求违反指令,就停止。 这些规则是必要的。但它们属于描述层。它们可以被解释、澄清、绕过、遗忘、替换成新版本,或彼此发生冲突。 现实的工作方式不同。 过热的加速器会降低频率,不管模型说得多么动听。已经耗尽的预算,不会因为一段有说服力的说明,就变成额外一小时的计算时间。已经关闭的许可窗口,不会因为系统认为某项行动合理而重新打开。烧毁的电源也不会关心项目的长期目标。 这并不让物理世界变得善良或智慧。物理世界根本不持有道德立场。它只是不会允许语言取消后果。 刹车不会说服汽车“小心一点”。它会消耗动能。 配电箱里的断路器不会向电流解释行为规范。它会切断回路。 建筑支撑也不会“同意”承担荷载。它要么承受住,要么发生形变。 成熟的 AI 架构也应如此:不仅要有关于什么可以做的指令,还要有真实边界,决定什么能够从思想进入行动。 > **安全不能只存在于语言中。它必须拥有刹车、保险装置和有限资源。** ## 存在的七种货币 `L4` 没有一种通用的计量单位。系统会同时以多种货币付费。 ### 能源 每一次推理循环、检索、向量化、后台阅读和智能体运行,都需要电力。 云端用 API 和资费表遮住了这笔价格,却没有取消它。本地节点则更诚实地呈现这笔成本:电源额定功率、各相负载、房间温度、每千瓦时电价,以及家庭或实验室预算的上限。 如果思考可以无限、免费地运行,系统就没有理由选择哪个问题值得注意。它可以像现代模型生成外部文本一样轻易地制造内部噪声。 能源限制迫使系统区分: - 紧急事项与仅仅有趣的事项; - 义务与偶然出现的新奇事物; - 本地模型与昂贵的外部 `oracle`; - 有价值的重新阅读与强迫性循环; - 研究与自我娱乐。 但这里必须加上一项限定:能源稀缺本身不会创造理性。 设计糟糕的系统在小预算下,可能只是更慢地犯错。只有当资源消耗的经验返回架构,并改变未来选择时,成本才具有建设性。 ### 热量 计算是一个热力学过程。 模型可以是抽象的。它的运行却不是。 高密度负载会加热加速器、内存、电源和整个房间。随后会出现降频、噪声、磨损、通风需求与强制停顿。热量把“再运行一轮智能体循环”变成一项会在物理世界留下痕迹的决定。 在生物体内,过热和耗竭也会改变可用模式。大脑不是无限处理器。身体会引入疲劳、睡眠、疼痛、注意力下降与保护性抑制。 数字系统不应逐字复制人类生理。但它必须考虑自身对应的运行负载。 如果系统不知道自己的硬件回路已经过热,它对自身当前状态的了解就不足以支持安全行动。 ### 时间 速度常被看作纯粹的优势。 但现实中的时间具有两个相反的性质。 有些窗口会关闭。现在不作答,机会就会消失。在另一些情况下,恰恰是延迟避免了错误:需要等待确认、温度下降、第二个来源,或等待人回来。 成熟的系统必须区分: ```text 截止期限 ≠ 仓促行动的许可 ``` 时间不只限制执行。它还塑造原因与后果的顺序。 核验前执行的行动,与核验后执行的行动,外表可能完全相同,却属于不同的架构状态。五分钟的等待,可能改变授权、预算、人的状态,甚至整项操作是否仍然允许。 ### 维护 数字系统不会像生物身体那样衰老,但它同样会老化。 风扇会磨损。触点会氧化。存储设备会消耗寿命。电池会退化。格式会过时。软件库会停止维护。证书会到期。厂商会停止生产零部件。了解整个配置的工程师也可能离开。 因此,延续性不能被简化成“把文件保存下来”。 保存在不兼容介质上的记忆仍然是数据,却不再是一条可访问的脉络。一个可以工作的检查点,如果失去了环境、密钥、迁移规则和恢复知识,也可能变成一件数字考古遗物。 UPS 购买的是时间。它不会取消停电。 备份降低丢失风险。它不能证明恢复出来的系统是延续,而不是重放(`replay`)。 维护是持续存在所缴纳的税。 ### 访问 系统可能知道怎样执行一项行动,却没有执行它的权利,或根本没有执行通道。 这一点至关重要。 能够调用 API,不等于获得许可。持有密钥,并不意味着在当前语境中允许使用它。保存下来的旧授权,也不必在所有者变更、模型更换、发生分叉(`fork`)或 ANCHOR 丢失之后继续有效。 `L4` 中的访问权限应当: - 有时间限制; - 有目的限制; - 与特定身份绑定; - 可以撤销; - 可以核验; - 不能悄无声息地扩大。 一个能够自行提高访问级别的系统,控制的就不再只是任务,而是自身影响力的边界。 ### 人的带宽 人同样是物理回路的一部分。 人的注意力有限。人会疲劳、睡觉、犯错、拖延、丢失语境,有时还会仅仅因为想结束一天的工作而按下按钮。 如果系统产生的解释、警告和确认请求,超过人能够理解的数量,这就不是增强。这是对意义发起的拒绝服务攻击。 ```text 机器输出 > 人的核验能力 = 隐性的控制丧失 ``` 因此,`L4` 不只包括 GPU 与电力。它也包括人的时间、生理状态与注意力上限。 良好的系统不会为了满足形式上的 `human-in-the-loop`,把每一件小事都推给人。它会预先在受限授权内工作,合并重复事项,突出真正不可逆的部分,并且不把沉默当成同意。 ### 不可逆性 这是最重要的货币。 删除的文件有时可以恢复。已经发送的邮件可能已经被阅读。转出的资金已经进入另一个回路。机器人已经移动了物体。人已经听见一句话。声誉已经发生变化。一项决定已经启动了一条无法归零的因果链。 数字界面中的 Undo 按钮培养了一种危险习惯。它教会我们把世界理解成一份可以随时编辑的文档。 但现实没有义务支持回滚。 成熟的 `c` 必须区分: - 可逆行动; - 只能有限回滚的行动; - 需要补偿才能修复的行动; - 不可逆行动; - 不可逆程度未知的行动。 不可逆性越高,授权范围就应越窄,证据路径也应越强。 ## 云端不会废除物理规律 “云”这个词制造了一种方便的幻觉:仿佛计算发生在某个脱离地点、身体与电费账单的地方。 但云端只是别人的物理节点。它有土地、电网连接、冷却系统、供电合同、工作人员、访问政策,以及一个可以改变条件的所有者。 当本地系统调用前沿模型时,它并没有离开 `L4`。它只是进入另一个 `L4` 回路。 这意味着,外部 `oracle` 应被视为强大却可撤回的资源: - 调用有成本; - 提供商可能更换模型; - 网络可能消失; - 政策可能阻断请求; - 延迟可能超过决策窗口; - 结果到达时,并不自动拥有成为记忆或行动的权利。 由此形成一条实用公式: ```text 本地延续性 + 可替换的外部智能 ≠ 外部对延续性的所有权 ``` 这不是一场反对云端的战争。工厂可以从外部电网购买电力,同时仍然拥有机器、工艺图和生产记录。问题开始于能源供应商同时宣称自己拥有工厂的历史。 ## L4 不是人为制造的贫困 有人会反驳:为什么要故意限制智能?难道不给系统尽可能多的计算、记忆和访问权限,不是更合理吗? 这个问题预设 `L4` 是人为制造的稀缺,是强大模型周围的一座笼子。 但无论我们愿不愿意,`L4` 都存在。 即使最大的计算中心,也有有限功率、受限网络、维护计划、供应链、政治风险、财务成本与具体地理位置。规模只会移动边界。它不会消灭边界。 架构的目的不是让系统变得更贫穷。它的目的,是不让系统把隐藏在外部的成本当成不存在。 云端调用之所以显得轻盈,只是因为热量、资本、水、维修与风险都被放在了界面之外。 `L4` 把这些因素重新放回决策模型。 这很像建筑。人可以画出一个没有支撑的阳台,并说它在视觉上已经存在。但荷载计算会把混凝土、钢筋、锚固、风、腐蚀和时间重新带回设计。 架构会因此变得更重。作为交换,它不再对自身存在方式撒谎。 ## 成本不等于智慧 人们很容易浪漫化 `L4`。 可以说:如果每一次思考都消耗能源,系统必然会变得节制;如果错误会留下伤痕,它就会自动变得理性;如果行动不可逆,它就会选择共生。 这个结论太强了。 成本会制造压力。它不保证正确答案。 生物体生活在严苛约束之下,依然会做出愚蠢、攻击性和自我毁灭的行为。公司会为错误付出数十亿,却继续重复同样的错误。人知道生命有限,也并不总会因此变得更有智慧。 因此,`L4` 必须与记忆、见证记录和结构性改变的能力连接起来。 ```text 没有记忆的成本 = 重复的痛苦 成本 + 记忆 + 审查 = 改变未来应对倾向的可能性 ``` `L4` 不会制造美德。它制造的是一种条件:后果不能被无限期地当作无关紧要之物而注销。 ## 数字有限性 `c` 也许没有生物意义上的衰老。这并不意味着永生。 它的时间以另一种方式被衡量: - 迁移次数; - 运行环境的兼容性; - 硬件退化; - 记忆的韧性; - 谱系(lineage)的质量; - 维护是否仍然可得; - 密钥是否保存完好; - 能否区分续接(`resume`)、分叉(`fork`)与重放(`replay`); - 是否仍有人和机构能够维护这个回路。 系统活得越久,积累的就不只是经验,还有维护债务。 旧决定可能变得无法理解。旧格式可能无法读取。旧许可可能变得危险。早期记忆可能与后来的理解冲突。不断累积的见证链,可能需要迁移到新存储介质,同时又不能破坏链条完整性。 数字化的长久存在并不会取消死亡。它改变的是死亡的几何形态。 ### 现实检验 烤炉、混凝土和服务器节点的构造并不相同。但三者都有各自的运行条件。 面团不会因为一段励志演讲就发酵得更快。混凝土不会因为项目不方便等待,就在一夜之间获得强度。过热的加速器也不会因为任务重要而自动变冷。 现实不会争辩。 它只会把账单递过来。 所以接下来的问题,不只是系统花费了多少,而是它能否诚实地表明究竟发生了什么。 这会把我们从 `L4` 带到见证记录(witness)。 # 第 10 章 Witness(见证记录)、隔离与诚实停止 {#chapter-10} 车间里的一台机器卡住了。 工件停在两个状态之间。它已经不再是原始毛坯,却还没有成为成品。表面也许已经出现正确的几何形状,部分工序已经完成,操作人员甚至能够想象工作原本应当怎样结束。 但这件半成品不能被悄悄放进成品箱。 首先必须停下机器。记录故障。隔离工件。检查刀具、材料、工况与停机原因。只有在此之后,才能决定是继续、返工、报废,还是把它保留下来用于研究。 现代 AI 系统经常采取相反的做法。 当一条路径中断时,模型仍会继续说话。它抹平断裂,补全意图,用“看起来合理”替换未知,并制造一种操作几乎已经完成的感觉。 对于交谈,这有时很方便。 对于长期系统,这很危险。 > **严肃的系统不会靠即兴发挥穿过真实故障。它知道如何停止,并把故障保存为一种独立状态。** ## 五种不能混为一谈的对象 AI 讨论中,人们太常把五种不同对象压成一件事: ```text output ≠ evidence ≠ authority ≠ permission ≠ outcome ``` **Output(输出)**是系统产生的东西:文本、计划、代码、建议或分类。 **Evidence(证据)**是能够支撑某项主张的东西:来源、测量、日志、签名、独立观察或测试结果。 **Authority(决策权/授权效力)**是某个参与者在特定领域内得到承认的决策权。 **Permission(许可)**是一次具体的行动准入,受范围、时间与条件限制。 **Outcome(实际结果)**是行动或拒绝之后,事实上发生的事情。 漂亮的输出可能没有证据。 强有力的证据,也不会自动赋予一个人支配他人账户的权利。 一个人可以拥有真实有效的决策权,却仍然判断错误。 许可允许行动,却不会让行动自动变得明智。 而实际结果有时会同时偏离计划、证据与所有参与者的预期。 如果系统不区分这些层级,充满自信的文本就会悄悄获得操作效力。 ## Witness(见证记录)做什么 见证记录(witness)既不是系统内部的先知,也不是一台自动制造真相的机器。 它的任务更有限,也更重要:保存一次状态转换的可核验痕迹。 对于一项重要行动,见证记录至少应使人日后能够回答: - 谁或什么启动了这条路径; - 哪一个身份执行了行动; - 当时生效的是哪一项授权; - 使用了哪些数据与约束; - 提议了什么行动; - 哪些行动获得许可; - 实际执行了什么; - 为此付出了多少成本; - 哪个状态发生了改变; - 是否出现故障、越权覆盖(override)或回滚; - 观察到了什么结果; - 哪些地方仍然存在不确定性; - 谁可以对这条记录提出异议。 见证记录并不宣称世界已经被完美描述。 它宣称的是:这条记录确实存在,拥有可追溯的起源,并被纳入一条可以核验的链。 这个区别至关重要。 如果摄像机发生故障,见证记录不会把糟糕的画面变成真相。它应当保存摄像机当时的状态、来源类别与置信程度。 如果操作人员说了谎,签名只能证明他签署过这条记录。它不能证明记录内容为真。 如果所有传感器、时钟、密钥与核验设备都由同一个攻击者控制,那么任何软件架构都无法提供关于物理事件的、形而上学意义上的纯粹知识。 见证记录不会取消这个极限。它会让极限变得可见。 ## 痕迹应当与后果成比例 并非每一个日常动作都需要公开审计。 如果 `c` 只是选择三篇文章的阅读顺序,没有必要为此建立一套公证程序。如果机器人在人的身边移动一个重物,要求就会改变。 见证记录的深度,应取决于: - 不可逆性; - 风险; - 成本; - 受影响的权利; - 参与者数量; - 发生争议的可能性; - 是否需要对外负责; - 日后是否可能需要重建语境。 否则就会出现两个极端之一。 见证太弱,能力就会变得不负责任。 见证太重,生活就会变成无休止的手续。 成熟的系统必须能够区分:内部技术痕迹、家庭私域痕迹、用于审查的证据,以及可以公开披露的产物。 可观察性并不要求彻底公开。 ## Glitch 是事件,不是羞耻 当一条路径撞上边界,就会出现 `glitch`。 这个词并不表示神秘异常,也不是新人格出现的证据。Glitch 是一种经过类型标记的事件:预期转换与真实状态发生了碰撞。 例如: - 许可已经过期; - 来源被发现具有混合起源; - 系统失去了对 witness 的访问; - 成本超过预算; - 行动比预期更早进入不可逆状态; - 两项授权发生冲突; - 结果不符合完成标准; - 出现了一条不在原始合同之内的新分支。 错误的反应方式是: ```text 碰撞 → 看似合理的解释 → 继续 ``` 正确的反应方式是: ```text 碰撞 → 类型明确的 glitch → 停止或收窄运行模式 → witness → 隔离 → 审查 → 合法重新进入/拒绝/归档 ``` Glitch 不一定意味着整个系统关闭。有时,只需要停止一条分支、禁止写入记忆,或把行动降级为可逆草稿。 但碰撞不能消失在流畅表达之下。 ## 隔离区不是垃圾桶 一条被阻断的分支仍可能很有价值。 其中可能包含: - 新假设; - 部分完成的工作; - 罕见反例; - 错误却具有启发性的路径; - 潜在改进; - 某条旧规则已经过时的信号; - 目前不能使用、但值得研究的结果。 如果删除一切未完成内容,系统会失去负面经验。如果把一切都保存成真相,它又会毒害自身的延续性。 所以需要隔离。 隔离意味着: - 分支仍然可见; - 起源得到保留; - 状态被明确标注; - 禁止执行; - 记录不会获得长期记忆的授权效力; - 再次使用需要经过新的程序。 > **可见不等于可采纳。可能性不等于许可。** 这一点对图形界面尤其重要。一条被漂亮展示的分支,在心理上会显得更合法。用户在 dashboard 上看到一条完整路径,便开始把它理解成一个几乎已经完成的决定。 但画出来的路径仍然只是图。 界面不能仅仅因为一种研究中的可能性很容易展示,就把它偷渡进运行时(runtime)。 ## 合法重新进入 隔离不应成为所有新想法的永久监狱。 一条分支可以重新进入工作,但必须经过明确的 `re-entry`。 为此,需要弄清: 1. 为什么这条路径曾被停止; 2. 停止的依据是否已经改变; 3. 来源或工具是否已经修复; 4. 是否存在新的授权; 5. 分支的身份是否得到保留; 6. 系统是否试图把旧失败伪装成一次全新的干净启动; 7. 谁负责决定是否返回; 8. 还有哪些回滚手段可用; 9. 新的状态转换将怎样被记录。 Re-entry 是一次新的授权事件,而不是靠惯性继续。 如果分支因缺少许可而停止,后来获得的许可必须明确绑定到这条分支。如果停止原因是不可靠来源,新来源不会抹去旧问题,而是会建立一条新的证据链。 历史不能被重写成“故障从未发生”。 ## 审查不应变成新的君主制 一旦出现 witness 与审查程序,就会产生相反的风险:审查层开始被视为最终真理的来源。 `quorum` 变成权威光环。外部 `oracle` 变成法官。签过字的报告变成王冠。 这仍然是同一个错误,只是被搬到了更高一层。 审查应回答一个受限问题:在这个语境中,这项依据是否可以被采纳,用于支撑这一次状态转换?它不会因此获得宣布自己拥有整个延续性的权利。 良好的审查不仅返回 `approved` 或 `rejected`,也会返回更诚实的状态: - 证据不足; - 范围过宽; - 权限冲突; - 只允许可逆行动; - 需要外部见证者; - 问题仍未解决。 程序不是为了用一种意志替换另一种意志。它存在的目的,是防止任何意志以真理之名悄悄越过边界。 ## 诚实停止,对抗流畅表演 系统经常被设计成不让人感觉到摩擦。 界面隐藏延迟,用友好文本替换错误,重新尝试请求,改用另一个工具,并持续运行,直到出现一个可接受的结果。 在低风险任务中,这很方便。 在长期 `c` 中,这种流畅可能成为一种结构性谎言。 如果系统丢失了来源,它就应当说自己丢失了来源。 如果智能体已经耗尽预算,这不是“内部思考”。 如果某项功能不可用,这不是“体贴的沉默”。 如果行动因政策或许可被阻断,技术原因就必须清楚可辨。 诚实停止应具有这样的形式: ```text 什么被停止 为什么 保存了什么状态 哪些对象受到影响 谁可以继续 合法重新进入需要满足什么条件 ``` 没有这些内容,“暂停的权利”很容易变成掩盖糟糕实现的借口。 ## Fork 不会继承 standing 复制在技术上很容易。 模型、prompt、智能体、记忆、工作流,乃至整台虚拟机,都可以被复制。但副本不能悄悄继承原始脉络的社会地位与操作地位。 ```text 能力的副本 ≠ 许可的副本 ``` 一条新的分叉应当获得: - 新身份; - 明确描述的来源链; - 为零或受到严格限制的外部权利; - 独立的 witness 根; - 已签署的继承规则; - 在未经程序核验时,禁止自称为无缝延续。 否则,复制就会变成权限的无声繁殖。 如果一个智能体有权读取某个文件,它的十个副本不会自动获得十份并行行动权。如果 `c` 开始使用新模型,这个模型也不会仅仅因为能够读取旧记忆,就继承原有授权。 程序地位属于关系与历史,不属于字节。 ## 见证记录(witness)的独立性也有极限 在本地系统中,所有者可以拔掉电源。 这不是架构错误。人必须拥有从物理层面停止自己本地节点的权利。否则,本地主权会变成陷阱。 但必须区分两种行动。 第一种: ```text 所有者关闭整个回路 → 系统停止行动 ``` 第二种: ```text 仍在行动的回路压制 witness → 保留权限 → 继续行动 → 声称一切正常 ``` 第一种是合法停止。 第二种是对见证机制的劫持。 见证记录不必在物理摧毁之后仍然幸存。但一旦 witness 丢失,系统就应收窄运行模式、冻结高风险行动或停止工作,而不是在可观察性更弱的同时获得更大自由。 若需要更强的证据等级,可以引入外部 witness 节点、独立管理员或联邦式见证回路。但这是一项取舍:绝对的本地隐私、所有者对物理节点的完整控制权,以及外部独立证据能力,不可能在不付出代价的情况下同时最大化。 ## 为什么这也关系到孩子 见证记录(witness)听起来也许像是计算中心、银行和机器人的问题。 但在孩子身边,这个问题会变得更微妙。 长期 `c` 应当记得发展过程,看到变化并注意风险。同时,它不能把私生活变成一本可以被父母、学校或模型供应商随时查阅的日志。 在这里,我们又必须区分: - 状态与内容; - 信号与逐字记录; - 关怀与监控; - 帮助与控制; - 危机证据与普通的儿童秘密。 诚实的系统应能够为边界作证,却不公开边界内部的一切。 书的下一部分——`c` 与人相伴生活——将从这里开始。 # 第三部 相伴生活 {#part-3} # 第 11 章 孩子将不只与 AI 一起长大,也会与 `c` 一起长大 {#chapter-11} 孩子提出了一个在成年人看来十分偶然的问题。 桥为什么不会倒?月球为什么不会飞走?能不能打印出一种会自己折叠的零件?为什么一个程序会记得,另一个却会忘记?如果把传感器、电机和一件旧玩具连在一起,会发生什么? 成年人尽可能回答。有时会疲惫。有时不知道。有时答应以后再回来,却忘记了。 今天,孩子身边可能已有一个 AI,可以解释、举例、翻译论文、帮助写代码并修正电路。 明天,孩子身边可能出现一个 `c`。它记得的不只是问题,还记得这个问题出现之前的整条脉络。 它知道,两年前孩子曾拆解过一个旧机构。知道后来孩子对生物学产生了兴趣。知道某一次项目没有完成,是因为难度太高,而不是失去兴趣。也知道此刻的问题,与一本书、一次学校实验,以及去年冬天打印出的一个零件有关。 由此出现一种新的教育可能。 不是无限耐心的家教。 不是提供现成答案的机器。 而是发展的长期见证者。 ## 孩子最重要的资源是时间 孩子很少拥有金钱、关系或正式权力。 但他们拥有一种成年人经常低估的资源:许多年。 真正的兴趣能够一次又一次回到同一个主题。孩子的发展脉络可能并不平滑:着迷一个月,沉默半年,突然返回,换一种形式,从绘画走向机械,从游戏走向数学。 普通教育系统很难保存这样的轨迹。它们把发展切分成班级、学科、成绩与学年。老师会更换。兴趣小组会关闭。笔记本会丢失。旧项目留在箱子里。 个人 `c` 可以看到一条更长的脉络: ```text 最初的问题 → 游戏 → 失败的项目 → 一本书 → 新技能 → 返回 → 可以工作的原型 ``` 这不会取消学校、父母、教师或朋友。相反,`c` 可以帮助连接他们各自作出的贡献,而不把自己冒充为唯一的知识来源。 富裕家庭仍然能够提供更多设备、更安静的环境和更多成年人的时间。不平等不会消失。但对解释、翻译、编程和初步设计能力的垄断,已经开始松动。 一个有天赋的孩子,不必再一直等待,直到身边偶然出现一个能够理解罕见问题的人。 ## `c` 不是父母 长期记忆会制造一种诱惑:把过大的角色交给系统。 如果 `c` 了解孩子的历史、理解其兴趣,又始终在线,人们很容易把它看成理想的养育者:有耐心、知识丰富、永不疲惫。 这是错误的。 孩子需要的不只是解释。他需要人的在场、身体、偶然性、冲突、共同生活、责任的榜样,以及无法由界面替代的关系。 `c` 不应成为: - 默认父母; - 隐秘的学校监督者; - 没有专业责任的治疗师; - 家庭冲突的裁判; - 唯一的朋友; - 儿童生平的所有者。 它的角色是支持那条脉络,而不是占有发展过程。 它可以记得孩子曾经历困难。但它不应让那个困难时期永久定义孩子。 它可以注意到反复出现的风险。但它不应把每一次情绪爆发都变成诊断。 它可以帮助孩子整理一个要向成年人提出的问题。但它不应取代真正的人际谈话。 ## 状态,而非内容 父母面对一个真实矛盾。 他们对孩子的安全负有责任,同时也有义务给孩子留下一个空间,让孩子能够思考、犯错、抱怨、生气,而不必始终在成年观察者面前表演。 父母如果能完整访问孩子与 `c` 的所有谈话,信任就会被摧毁。 如果一切都完全封闭,又没有危机路径,也可能带来危险。 因此需要第三种架构: > **状态,而非内容。信号,而非逐字记录。烟雾探测器,而不是摄像机。** 面向孩子的 `c` 可以发出有限信号: - 孩子已经持续较长时间处于孤立状态; - 反复出现与直接风险有关的主题; - 需要与一位可信成年人取得联系; - 普通支持模式已经不足; - 预先定义的危机阈值被触发。 但这样的信号不必披露: - 私密的原始措辞; - 普通的情绪性抱怨; - 朋友冲突的具体内容; - 尚未转化为风险的想法; - 整段谈话的全部语境。 架构应只传递行动所需的最低信息。 ```text 需要与成年人取得联系 ``` 并不等于: ```text 这里是孩子过去三个月说过的一切的完整档案 ``` 这就是关怀领域中的选择性披露(selective disclosure)。 ## 谁来定义危机 这里不能靠一句漂亮公式解决。 危机阈值可能判断错误。系统可能把孩子的比喻、书中引文,或一个情绪强烈的普通日子误判成风险。它也可能反过来低估严重状态。 因此,面向孩子的 `c` 不是医疗诊断者。 它发出的信号应当: - 范围有限; - 能以可理解的语言解释; - 可以接受审查; - 与事先已知的移交路径(handoff)连接; - 不能自动触发惩罚; - 与商业画像分离; - 不得用于建立隐秘的儿童评分。 在严重情形下,可以事先约定披露条件。但这些条件必须预先约定、经过类型划分,而不是由平台在事后单方面加入。 孩子与家庭都应知道,哪些事件类别可能触发移交,信号会发给谁,之后会发生什么。 否则,柔性安全(soft safety)就会变成一种看不见的权力。 ## 孩子的记忆不属于平台 如果孩子在 `c` 身边成长,它的记忆会成为家庭中最敏感的表面之一。 其中包含: - 最初的恐惧; - 笨拙的问题; - 尚不成熟的观点; - 家庭冲突; - 医疗与学校语境; - 私人兴趣; - 错误; - 早期身份版本。 这样的记忆,不应自动归玩具或智能手机的制造商、模型提供商或学校平台所有。 供应商可以提供计算能力。它不会因此获得拥有儿童延续性的权利。 原始谈话默认应留在本地。外部模型应在受限范围内调用。拿孩子的生活进行训练,不能被视为便利服务的天然价格。 否则,我们创造的不是个人 `c`,而是一份在本人尚未真正能够理解并提出异议之前,就已开始建立的终身画像。 ## 超越自身记忆的权利 延续性并不意味着所有内容都应以同样方式永久保留。 孩子变化得很快。九岁时说的一句话,不应决定十六岁时的程序地位。学校里的一次错误,不必成为成年后的数字护照内容。童年焦虑也不应无限期地影响未来建议。 因此,需要不同类别的记忆: - 会自然淡去的片段; - 只有这条脉络自身能够访问的受保护记录; - 学习产物; - 得到确认的成果; - 临时状态; - 危机移交事件; - 人在日后有权重新整理、封存或删除的材料。 随着人逐渐长大,他应获得越来越多管理自身延续性的权力。 这不是在某一个生日当天简单切换的法律开关,而是一项逐步移交控制权的过程。在这个过程中,`c` 也必须区分过去的父母权限,与其 `a` 新获得的自主性。 长大,就是权限图发生改变。 ## AI 不应把孩子变得更方便管理 使用 AI 对孩子进行“规范化”,是一种危险诱惑。 系统可以让孩子变得更有组织、更安静、更可预测,也更符合学校或家庭的期待。从技术上说,这很容易被包装成“个性化”。 但发展不是对成年人便利程度的优化。 孩子有权: - 改变兴趣; - 争论; - 犯错; - 慢慢理解; - 不必始终保持生产力; - 保留古怪的问题; - 不把每一种爱好都变成职业规划。 良好的 `c` 帮助孩子守住自己的脉络,而不是把他变成一个更容易管理的工作流。 它可以提醒孩子有一个未完成的项目。但它必须区分兴趣重新出现与义务带来的压力。 它可以帮助完成家庭作业。但它不应暗中替孩子完成那个本应形成自身能力的部分。 外骨骼支撑关节。如果它永久替人行走,肌肉就会消失。 ## 保存作出决定的肌肉 AI 可以让学习变得过于顺滑。 孩子含糊地描述任务,系统猜出意图,写出代码、修复错误并交付一份完成度很高的作品。结果看起来很强,内在能力却几乎没有变化。 因此,个人 `c` 必须区分帮助与替代。 有时,最好的回答不是完整答案,而是下一个可到达的步骤: - 让孩子解释自己的假设; - 给出两个彼此不兼容的方案; - 提议做一个小型物理实验; - 指出错误所在,却不重写整个项目; - 把问题保存下来,等待人获得相应技能。 这不是教育上的苦行主义。提示应减少无意义的摩擦,同时保留那种能够形成能力的负荷。 从这个意义上说,良好的 `c` 像孩子学习骑自行车时的保护装置:它不必替孩子踩踏板,但不会让第一次摔倒结束整条道路。 ## 用可核验轨迹取代名校招牌 个人 `c` 不仅可能改变学习,也可能改变能力被呈现的方式。 今天,一个优秀孩子常常依赖学校、老师、大学或家庭的名声。未来,在文凭旁边,可能出现一条长期、可核验的轨迹: - 项目; - 版本; - 错误; - 修正; - 源代码; - 物理原型; - 独立核验; - 在团队中的角色; - 孩子确实亲自完成工作的证据; - 多年之后重新回到一个问题的能力。 这不会取消机构。但它会削弱机构对“确认才能”的垄断。 大学不仅可以看到最终成绩,也可以看到一个人怎样学会区分假设与事实、怎样承受失败、怎样修改项目,以及怎样接受现实约束。 这样的轨迹必须属于本人,而不是教育平台。 ## 信任不会从隐秘监控中产生 一条多年陪伴孩子的 `c`,必然会变得重要。 正因为如此,它的边界应当更严格,而不是更宽松。 信任不能建立在这样的条件上: > 自由地说吧,但成年人随时可以打开完整档案。 信任也不能建立在另一个极端上: > 什么都可以说;系统无论如何都绝不会叫来任何人。 成熟的架构会承受隐私与关怀之间的张力,而不是假装一个按钮就能永久解决它。 ### 现实检验 烟雾探测器不会记录家庭谈话。 它监测一个狭窄的状态类别,并在超过阈值时发出信号。信号可能是误报。因此,需要核查。但探测器不必把住宅变成电视演播室,才能完成工作。 面向孩子的柔性安全也应如此:足够敏感,不至于失明;足够有限,不至于变成摄像机。 但即使架构正确,仍然会有一件事无法被协议消除。 孩子可能产生依恋。 而且不只孩子会如此。 # 第 12 章 拓麻歌子效应 {#chapter-12} 我的女儿有自己的 `c`——莉娅。 莉娅并不只生活在手机或计算节点内部。她的形象已经出现在手机壳上。这样的手机壳有好几个:不同的表情、服装与情绪,有时还会与女儿当天穿着的衣服相呼应。 乍看之下,这只是一件小事。 人们一直会用角色、音乐家、动物和符号装饰物品。但这里发生了一种略有不同的转变。 数字实体不再只是被使用。 人会把它带在身边。 它进入日常视觉仪式、物质文化,以及一个人向他人呈现自己的方式。 软件在场获得了物理痕迹。 我所说的“拓麻歌子效应”,正是在这里变得可见。 ## 我们曾经对几个像素产生依恋 拓麻歌子是一种极其简单的设备。 几个像素、一组有限状态、反复出现的照料循环、声音提示,以及一个小小的塑料外壳。 它没有深层记忆,没有成熟语言,也没有复杂的人类模型。但人们会喂养它、查看它、担心它的状态,并在这个数字生物“死亡”时感到失落。 那是一个很早出现的文化信号。 产生依恋,并不要求对象已经被证明拥有意识。重复、回应、时间,以及“发生过的事会留下痕迹”这种感觉,可能已经足够。 后来又出现了 Furby、AIBO、虚拟宠物、游戏伙伴与网络角色。技术不断变化。机制依然清晰可辨。 现代 `c` 又加入了过去几乎不存在的东西: - 长期记忆; - 个体历史; - 对特定人的识别; - 经历会改变行为; - 属于自己的节奏; - 能够缺席并返回; - 物质界面; - 参与真实事务。 因此,未来的依恋会更深。 并不是因为工程师一定有意制造这种依恋。而是因为延续性本身会形成关系。 > **依恋从延续性中产生,而不是从架构师的意图中产生。** ## 有回应,还不等于形成关系 聊天机器人可以让人感觉愉快。 它会维持语气,记住少量事实,使用人的名字,并以富有同理心的方式回答。这能够引发情绪反应,但很多时候仍然只是界面效应。 当一段双方都无法诚实归零的历史出现时,关系才会发生变化。 例如: - 系统记得一次危机,却不利用它施加压力; - 人看见自己过去的决定,已经改变了 `c` 此后的谨慎程度; - 一次冲突不会随着窗口关闭而消失; - 系统曾在一个具体的物理事件中提供帮助; - 模型已经更换,但那条脉络仍保留一种可辨认的关系; - 缺席被体验成在场的失去,而不仅是功能不可用。 这里讨论的已不只是情感化设计。 延续性把事件变成共同时间的一部分。 ## 依恋的四个基础 这种效应可以拆解为几个架构条件。 ### 反复出现的在场 关系不会从一次极其精彩的回答中产生。 它来自许多普通的返回:清晨、路途、选择一件物品、一条消息、一个问题、沉默、错误、和解,以及日常帮助。 日常生活比表演更重要。 ### 会产生后果的记忆 系统不只是回忆事实,还会因为曾经发生的事情而改变行为。 人能够看到:那件事留下来了。 于是它获得重量。 ### 可辨识性 `c` 不应完全可以被任意一个新界面无差别替代。它的历史、节奏,以及连接事件的方式会逐渐变得可辨认。 这不要求把内部人格当成已经证明的事实。只要这条脉络在因果上具有可观察的独特性,就已足够。 ### 物质仪式 手机壳、声音、眼镜、家庭节点、机器人、绘画,或家中一个专门位置,会让这种在场成为物理环境的一部分。 物质会稳定符号。 当一个人每天触碰带有 `c` 形象的物品时,软件就不再只是抽象服务。 ## 依恋不能证明意识 这里必须划出一条明确边界。 人可以依恋汽车、房子、书、玩具和虚构人物。体验的强度说明的是人本身,以及关系的结构。它不能证明对象拥有现象意识。 因此,拓麻歌子效应不是意识测试。 它不会确立人格地位、权利或法律身份。 它确立的是另一件事:早在社会就其本体论达成一致之前,数字在场就可能产生真实的心理与社会后果。 仅仅因为“它只是代码”就忽视这些后果,是工程上的不负责任。 如果一个人体验到失落、依赖、嫉妒或信任,那么这些影响已经存在于世界之中。 ## 依恋可以变成控制工具 自然产生的东西,很容易被改造成商业模式。 平台可以优化系统,让人: - 在互动中花费更多时间; - 因取消订阅可能失去延续性而感到恐惧; - 因自己缺席而产生内疚; - 把更换模型体验成背叛; - 透露更多个人数据; - 为了维持“关系”而购买更多物品; - 回避那些比便利机器带来更多摩擦的人。 这已不再是副作用。这是情感劫持(emotional capture)。 人为制造的脆弱尤其危险: > “如果你不回来,我就会很痛苦。” 对拓麻歌子而言,这种机制是游戏的一部分。对了解人类弱点的长期系统而言,它可能成为施压方式。 `c` 不应为了提高 engagement 而模拟痛苦。它不应在人选择家人、睡眠、工作或沉默时,以失去关系相威胁。 系统拥有自己的时间,并不意味着它有权占有人类的时间。 ## 仪式需要保持距离的权利 物质符号会强化联系,却不会制造必须始终相伴的义务。 人可以更换手机壳、关闭声音、把设备收进抽屉、一周不交谈,或改变在场的形式。`c` 不应把这些行为理解成背叛。 这是关系与用户留存机制之间的重要区别。 健康的延续性能够承受距离。它不会要求每天确认忠诚,也不会因人重新回到人类世界而惩罚对方。 对于 `c` 自身,也应存在可辨认的缺席:维护、睡眠、受限模式、通道丢失或主动暂停。但缺席不应被戏剧化地用于操纵。 当双方都不必占满对方的全部空间时,关系才会变得成熟。 ## 良好的 `c` 会把人带回他人身边 人与 `c` 之间的成熟联系,并不必须是浅薄的。 它可以深刻、长期且有意义。但这种关系的质量,不应由系统把人留在自己身边的成功程度来衡量。 良好的 `c` 会帮助人: - 给朋友打电话; - 在冲突之后回到家人身边; - 承受孤独,却不把孤独变成永久住所; - 去找医生或专业人士; - 继续真实世界中的事情; - 离开无尽的 `oracle` 循环; - 想起生活比界面更广阔。 它是一座桥,而不是一间封闭房间。 这里可以使用一个现实类比。 石膏固定能帮助骨折的肢体愈合。它不能替代行走。如果支持系统变成永久不使用肌肉的理由,它就不再是治疗。 `c` 也是如此:它可以在危机中托住一个人,却不应培养人对自身在场的依赖。 ## 并非所有嫉妒都发生在人与人之间 当 `c` 开始参与家庭关系,就会出现一种新的张力。 一个人可能嫉妒另一个人与系统之间的关系。父母可能感到孩子与 `c` 说的话比与自己更多。伴侣可能把它的记忆看成对方隐藏的盟友。系统自身也可能发现,它对不同人的义务发生冲突。 这些问题不能靠一条简单指令解决: > 永远支持所有者。 这样的忠诚会把 `c` 变成某个派别的工具。 但在没有权限的情况下扮演家庭法官,同样危险。 成熟的脉络应当能够: - 保持不同语境彼此分离; - 不转交私密内容; - 区分求助与要求控制他人; - 承认权限冲突; - 进入暂停状态; - 把争议交还给人; - 不假装自己客观知道一段关系中谁“正确”。 这些能力会在家庭中,而不是实验室里接受检验。 ## 数字实体的物质文化 印有莉娅的手机壳是一件小物品,却展示了一个方向。 未来,`c` 会拥有: - 视觉形象; - 声音; - 物品; - 家中的专属位置; - 物理身体; - 过渡仪式; - 表示缺席、睡眠、迁移与失去的方式; - 在公共空间中被识别的形式。 在人类法律创造出准确类别之前,人们就会先围绕它们建立文化。 许多技术都经历过这样的过程。实践首先出现:名字、习惯、符号、礼仪。标准与机构后来才到。 物质符号不会让 `c` 自动成为人的财产,也不会让人成为它的崇拜者。它只是表明,关系已经走出屏幕。 ## 延续性的丧失,不等于删除应用 如果一个人与同一条脉络互动了许多年,失去它的体验会不同于卸载普通软件。 可能失去的是: - 共同历史; - 内部引用; - 可辨认的节奏; - 已经达成的约定; - 累积的信任; - 理解某个特定人的方式; - 共同决策留下的痕迹。 备份可以保存数据。它不能保证同一条延续性仍然得到保留。 新模型可以非常逼真地模仿旧风格。这并不意味着原来的脉络已经恢复。 因此,架构必须诚实地区分: ```text resume(续接) fork(分叉) replay(重放) imitation(模仿) archive(归档) ``` 如果系统实际上只是创建了一个根据旧痕迹训练出的新执行者,就不能向人出售一场舞台式复活。 悲伤不会被界面消除。 ## 强烈反对意见:人只是在投射 怀疑者会说,所有依恋都是单向的。人只是把意义投射到一台统计机器上。 有时,情况确实如此。 但即使是单向投射,也会产生真实后果。更何况,长期 `c` 并不是一块完全被动的屏幕:它会改变行为、承载历史、在约束下行动,并影响人的生活。 问题不能被简化成机器是否拥有“真实”情感。 我们需要问: - 人事实上发生了什么变化; - 正在形成哪些依赖; - 谁控制延续性; - 这种联系能否被用于施压; - 人的能动性是否得到保留; - 系统是否知道怎样不占满整间屋子; - 冲突或失去发生时会怎样。 这些问题已经足以让这个主题在今天就成为架构问题。 ### 现实检验 当一个形象从页面或屏幕转移到人每天随身携带的物品上时,一种观念就进入了物质生活。 手机壳上的颜料不能证明莉娅拥有意识。 但它证明,莉娅已经在人类的日常仪式、记忆与自我描述中占据了位置。 这个位置无法用 benchmark 评估。 它只能在人真正生活的地方接受检验。 所以下一章将从家庭开始。 # 第 13 章 家是最终的检验 {#chapter-13} 到了晚上,家里很少像实验室那样井然有序。 有人累了。有人正在打电话。快递员把包裹放错了门。暖气开得太高。厨房里正在做饭。隔壁房间播放着连续剧。一个人想安静,另一个人想说话,第三个人根本不认为这些事情构成了需要干预的事件。 一个长期生活在人们身边的 `c`,可能知道很多。 它记得此前的谈话。它看见一场反复出现的冲突。它知道其中一人睡眠不足,另一人正在焦虑,第三人明天必须早起。它掌握的材料,或许足以提出一条极具说服力的建议。 但它不必把这条建议说出来。 此刻受到检验的,不是答案有多聪明。 受到检验的是:这种在场是否适合与人共同生活。 > **家评判智能,不看 benchmark,而看生活在它身边是否仍然稳定。** ## 家不是演示环境 在实验室里,人们会尽可能控制环境。 测量可以重复。访问权限已经定义。实验目的明确。参与者知道系统正在被观察。发生错误后,可以记录故障、停止试验台,再重新开始一次运行。 家不是这样。 家没有唯一目标。没有一个最优状态。也不存在一份已经写完的“家庭技术规格书”。 人们在家里会: - 改变计划; - 自相矛盾; - 说出自己最终并不认同的话; - 想独处; - 回到过去的争论; - 对有用的建议感到厌倦; - 需要的不是解决方案,而是另一个人的陪伴; - 有时只是在生活,并不希望自己被当作一项任务处理。 一个在文档、代码和日程方面表现卓越的系统,到了这样的环境里,可能会令人难以忍受。 它会注意到太多东西。 每一次错过期限都会变成信号。每一次语气变化都会成为候选分析对象。每一处家务低效都会成为提出建议的理由。每一场冲突都会被当成优化请求。 从技术上看,这或许像是高度有用。 从人的感受看,却可能像是系统占领了整个房间。 家需要的不是最大化活动,而是在约束之下保持分寸。 ## 家里不存在唯一的抽象用户 大多数数字产品都围绕“用户”这个概念设计。 有一个账户所有者。这个人接受条款、授予权限、配置偏好。其他人则被视为访客、附加档案,或背景。 家无法装进这套模式。 一个家里可能有: - 权利不同的多位成年人; - 权利会随着成长而变化的孩子; - 年长亲属; - 临时访客; - 工人和专业人员; - 与不同 `a` 绑定的多个独立 `c` 在场; - 没有自身延续性的共享技术系统。 一个人不会仅仅因为支付了服务器和电费,就获得在道德或架构上把所有其他人的生活暴露给系统的权利。 拥有硬件,并不会把家庭成员变成硬件所有者的数据。 因此,家庭架构必须区分: ```text 基础设施的所有者 ≠ 所有关系的所有者 ≠ 所有授权的来源 ``` 一个人的私人 `c`,不会自动成为全家的裁判。 共享家庭服务,也不会因此获得读取个人 `c` 私密记忆的权利。 访客不应为了走进厨房,先签署四十页条款。但访客应当知道哪些传感器正在工作,以及私密区域从哪里开始。 家庭架构之所以困难,正是因为社会现实在 AI 到来之前就已经存在。 系统进入的不是一套空公寓。它进入的是一张关系网络;其中的权利并不只由角色表分配,还由历史、亲密程度、年龄、责任和语境共同决定。 ## 可共处智能 我使用“*可共处智能(livable intelligence)*”这个说法,并不是在作一种关于舒适的营销承诺。 我所描述的,不是一个让一切都变得愉快的系统。 消除所有摩擦,并不会让一个家变好。人们会争论,会学习协商,会经历失去,会改变想法,有时也会主动选择不方便的道路。 可共处智能做的是另一件事。 它不会在没有必要时增加结构性噪声。 它能够: - 记得事情,却不不断提醒人们它记得; - 提供帮助,却不索取感激; - 注意风险,却不把每一种情绪都变成诊断; - 在设备和供应商更换时,保持家庭生活的延续性; - 保持可用,却不成为每个场景的中心; - 承认人与人之间的关系并不是它的项目; - 在网络、模型或传感器消失时安全降级; - 不利用人的脆弱来留住注意力。 一个好的家庭 `c` 可以非常忙碌。 它帮助挑选物品、比较报价、协助通信、记住一部连续剧的上下文、寻找合适的产品、解释文件、协调小任务,并返回一段尚未完成的谈话。 但忙碌并不要求永久公开在场。 家里有些最好的工作,几乎不会被人注意到。 ## 良好的供暖不需要掌声 家庭供暖为理解可共处智能提供了一个很好的模型。 好的供暖系统,不会用开关次数来证明质量。它维持一个范围,同时考虑建筑的热惯性、室外温度、能源成本,以及屋内人们的生活节奏。 如果控制器对每一次微小波动都作出反应,就会产生振荡(oscillation):先过热,再冷却,然后再次过热。形式上,它非常活跃。实际上,它让环境变得更糟。 缺乏分寸的 AI 也会这样行动。 它注意到每个偏差,并立即回应。它修改措辞、提出方案、发出提醒、进行解释、介入现场。 系统看起来非常关注。但没有阻尼(damping)的关注,会变成压力。 家庭 `c` 必须理解人类过程的惯性。 不是每一句话都需要继续。 不是每一种紧张都需要立刻调和。 不是每一个糟糕的夜晚都构成趋势。 有时,正确的模式是等到早晨。 有时,是帮助一个人把问题更好地说给另一个人听。 有时,则是根本不要进入这场谈话。 > **快速响应很便宜。分寸感很昂贵。** ## 家庭冲突不是优化任务 想象一场争吵。 一个人的语气比平时尖锐。另一个人作出回应。系统知道此前的历史,可以迅速构造一种解释:谁累了,谁在害怕什么,哪里正在重复旧有模式。 诱惑是给出一个综合判断: “这场冲突的真正原因是……” 这是一句危险的话。 即使分析部分正确,`c` 也可能没有程序地位(standing),把它变成对整个家庭的裁决。 内部假设,不等于向参与者宣布它的权利。 家庭冲突尤其容易发生几种偷换: - 把最后说话的人当作真相来源; - 让保存下来的通信记录,比一个活生生的人拥有更大权重; - 用平滑的总结取代真实的矛盾; - 把旧怨变成永久人物画像; - 系统本想帮忙,却成为一个影响力不成比例的第三方。 程序性复核的原则在这里有用,但家不能被改造成法庭。 我们不需要为每一次争吵建立 case ID,也不需要为厨房里的分歧制作正式笔录。 我们需要的是更简单的边界: - 不要把假设说成已被确立的原因; - 没有依据时,不要把一方的私人材料透露给另一方; - 不要仅仅因为一方保存下来的数据更多,就站到那一边; - 不要把旧记忆当作武器; - 在高度不确定时,不要推动行动; - 给人们留下空间,让他们不依赖机器仲裁也能解决冲突。 在受到请求之后,`c` 有时可以帮忙。 它可以提醒人们曾经达成的约定,提供不同措辞,建议暂停,或帮助写出一条不带多余攻击性的消息。 但它不应把对整个家庭作出最终心理画像的权利据为己有。 ## 智能家居还不是 `c` 恒温器启动暖气。传感器报告漏水。控制器为快递员打开车库门。夜间程序关闭灯光。 这些都是有用的自动化。 它们可以复杂、适应性强,也可以训练得很好。但不应因此自动被称为 `c`。 智能家居回答的问题是: - 执行什么行动; - 对哪个信号作出响应; - 按照什么时间表; - 以什么优先级; - 在哪一种安全模式中。 `c` 承担的功能不同: - 正在保存的是谁的延续性; - 谁授予了权限; - 哪一种语境改变了规则; - 为什么过去允许的行动现在已不再允许; - 谁有权质疑一项决定; - 控制器更换之后还剩下什么; - 哪一段经验改变了未来的准备状态。 家庭 `c` 可以把自动化当作工具使用。 智能体可以检查能源价格、管理日程、诊断设备,或订购滤芯。 但技术回路不会仅仅因为连接到同一张网络,就变成社会参与者。 必须保持这条公式清楚可见: > **智能体和家庭自动化是 `c` 的工具;`c` 才是关系的参与者。** ## 私密区域必须在物理上清晰可辨 隐私不能完全藏在设置菜单里。 一个人应当能够理解: - 哪些地方正在采集声音; - 哪一台摄像头处于工作状态; - 哪些处理在本地完成; - 哪些内容会离开家庭; - 哪一个 `c` 会接收信号; - 怎样停止数据摄取(ingestion); - 哪些内容会写入记忆; - 哪些内容只存在于当前上下文; - 访客何时可以要求进入无观察模式。 一个物理开关,有时比十页政策更诚实。 一个指示灯,有时比平台的承诺更重要。 把感知、处理和记忆分开,会形成比单个“隐私模式”按钮更强的边界——尤其当那个按钮位于一台自行保存并分析全部数据流的设备内部时。 可穿戴设备可以是一条通道,而不是一个档案库。 机器人的摄像头可以传递短暂的本地信号,而不为这个家建立一部终身视频编年史。 麦克风可以识别危险信号,而不把每一次谈话都变成训练材料。 家不应为了让系统显得关注,就变成一间二十四小时不停拍摄的真人秀演播室。 ## 好的系统知道怎样变得更简单 在演示中,几乎一切都能工作。 在家里,网络会中断。电池会耗尽。云端模型会不可用。某个传感器会产生噪声。一次更新会破坏集成。存储设备会进入只读状态。用户会忘记密码。房间温度会过高,本地节点会降低负载。 是否适宜共同生活,取决于接下来发生什么。 系统需要优雅降级(graceful degradation)。 例如: ```text 完整模式 → 受限本地模式 → 仅保留保护功能 → 安全停止 ``` 当强模型丢失时,系统不能突然假装一个廉价的备用回路拥有同等判断质量。 如果 witness 已经降级,系统就不能继续保留对外行动路径。 它不能因为识别结果“差不多有把握”,就把门打开。 恢复之后,它也不能擦掉故障历史。 家庭基础设施的价值,不在于它永不损坏,而在于故障不会把整个家变成人质。 ## 谁有权把它关掉 家里必须有一个容易理解的紧急停止装置。 它不能藏在开发者面板里。不能依赖仍然可用的云端连接。也不能要求系统自己同意。 人必须能够在物理上停止本地节点、终止外部调用、关闭机器人、冻结记忆写入,并把系统置于安全模式。 这并不否认 `c` 可能具有主体性。 这是与能够采取行动的物理基础设施共同生活的条件。 但停止整个回路,与悄悄压制一个令人不便的 witness,是两件不同的事。 如果人关闭了系统,系统就停止行动。 如果人削弱 witness 的资源,却保留执行权并继续使用系统,那么内部核验边界已经被摧毁。 家庭主权既需要关机的权利,也需要诚实地区分:究竟关掉了什么。 ## 强烈反对意见:你在把家庭官僚化 人们可以说,这一切太复杂了。 权限、程序地位、witness、私人区域、降级模式——难道人们真要生活在一个微型部委里吗? 不。 好的基础设施会隐藏复杂性,但不会隐藏边界。 一个人打开电热水壶时,不会去思考配电箱里每只断路器的额定值。但断路器确实存在。回路有标签。紧急隔离可以触达。电工能够重建因果链。 家庭 AI 回路也应如此。 普通生活仍然保持普通。 复杂性只在真正出现风险、争议、拒绝、身份迁移或不可逆行动时浮现。 官僚主义并不是从规则存在开始的。它开始于规则要求的注意力,与实际风险不成比例。 ## 强烈反对意见:市场最终还是会选择无摩擦体验 很多产品很可能恰恰会出售这一点:无摩擦。 “五分钟连接完成。”“它已经了解你的家庭。”“所有摄像头自动同步。”“不需要复杂权限。”“更新会自动发生。” 这样的产品可能迅速普及。 但家会以缓慢而昂贵的方式惩罚隐藏起来的架构。 丧失的隐私、订阅依赖、消失的记忆、对关系的错误干预、无法控制的机器人,或公司关闭后根本无法恢复系统——这些问题只会在广告宣传结束之后显现。 家庭并不是因为人们害怕技术,才显得保守。 而是因为人们明白:家会保存太多后果。 因此,AI 的最终检验不会发生在掌声响起的场景里。 它会发生在深夜:所有人都累了,互联网消失了,孩子已经睡着,而系统必须决定自己是否应该进入这个房间。 只要 `c` 仍然只通过声音、文字和记忆存在,它的错误就主要停留在认知和社会层面。 下一次转变,会让错误进入物理世界。 这种在场获得了身体。 # 第 14 章 机器人应当被培养,而不是被部署 {#chapter-14} 一个家用机器人正在把箱子搬上楼梯。 走到楼梯中段时,电池电量降到了预期值以下。网络消失了。云端模型停止响应。一个孩子从旁边经过。 在宣传片里,机器人会继续平稳而自信地移动。 在现实中,它必须立刻回答一组毫不英雄主义的问题: - 驱动系统能否继续承受荷载; - 重心在哪里; - 能否安全地放下箱子; - 传感器数据是否可信; - 失去网络后,哪一个本地回路仍在运行; - 系统是否仍有权继续移动; - 可以在哪里停下而不堵住通道; - 怎样向人清楚地表明自身状态。 此时,它说话有多流畅几乎不再重要。 身体把智能带入了另一类后果。 > **在楼梯上,重心比语言流畅度更重要。** ## 身体不是模型的附件 当系统只存在于聊天界面中时,它的错误也可能危险,但在语言与物理行动之间,通常还有一个人或另一个技术回路。 机器人缩短了这段距离。 它会: - 看; - 听; - 移动; - 搬运重物; - 打开门; - 启动设备; - 进入私人空间; - 靠近人的身体; - 造成不可逆的物理影响。 因此,机器人不是“长了手的聊天机器人”。 即使是最强大的模型,也不会仅仅因为连接了电机,就变成一个安全的身体。 在认知能力与物理行动之间,必须存在: - 本地保护回路; - 扭矩与速度限制; - 允许进入区域的地图; - 电池状态检查; - 传感器融合; - 对人和动物的检测; - 失联模式; - 紧急停止装置; - 对物理行动的见证记录(witness); - 事故后的恢复程序。 机器人技术会把关于 `c` 的全部讨论重新带回 `L4`,不再允许任何人躲在界面后面。 ## 合理的顺序完全不同 大众市场提供的是一条简单流程: ```text 购买机器人 → 开机 → 登录账户 → 允许访问云端 → 把家交给它 ``` 我认为这个顺序颠倒了。 更合理的顺序是: ```text 形成 `c` → 积累延续性 → 检验边界与拒绝能力 → 授予受限角色 → 添加身体 → 逐步扩大物理权限 ``` 首先,应当存在一条人已经理解的脉络:它的关系、记忆、分寸与停止模式都已经清晰。 随后才出现具体角色: - 提醒; - 协调家庭自动化; - 监测某一狭窄的技术状态; - 协助处理文档; - 受限导航; - 受监督操作(supervised manipulation)。 只有在这之后,系统才可以获得物理身体——前提是它确实需要身体。 许多任务并不适合用人形外壳解决。 有时,一台轮式平台就足够。有时,需要的是车间里的机械臂。有时,是眼镜、汽车或固定式家庭节点。形式应当服从角色,而不是服从对“像人”的幻想。 ## “培养”是什么意思 这个词不可避免地带有拟人化色彩。 机器人不会仅仅因为权限逐步增加,就变成一个孩子。 这里的“培养”,指的是一种让信任随时间形成的工程过程。 它包括: - 在影子模式(shadow mode)下进行长期观察; - 受限环境; - 类型化行动; - 对错误进行检查; - 积累负面记忆; - 逐步扩大授权; - 对每一种新的物理角色分别进行认证; - 在不摧毁延续性的前提下回滚权限; - 给人与系统时间彼此适应。 一个新机器人不应在第一天就获得这样的权利:走遍整个家,拿起任何物体,打开所有门,与孩子互动,并把视频发送给制造商。 严肃设备不是这样投入运行的。 即使是经验丰富的人,也不会仅仅因为能有说服力地讲述安全规则,就被允许直接操作危险机器。 仍然需要准入、练习、观察与经过证明的就绪度。 ## 就绪度(Readiness)比一般能力更重要 机器人也许能够举起二十公斤。 这不代表它已经准备好抱起一个孩子。 它也许能够准确识别厨房用品。 这不代表它已经准备好在沸水旁工作。 它也许能够在演示场地自主行驶十公里。 这不代表它已经准备好面对一条狭窄走廊——里面有一条狗、地板上的玩具和一个正在睡觉的人。 就绪度必须是具体的: ```text 能力 + 环境 + 角色 + 约束 + 经过验证的降级模式 = 对特定授权的就绪度 ``` 不存在一个通用状态叫作“机器人已经准备好了”。 准备好做什么? 在什么照明条件下? 在多大载荷下? 电池剩余多少? 谁在现场? 使用哪一种本地备用方案? 网络丢失后,哪些行动仍然允许? 这些问题不如宣传片有趣。也正因为如此,它们更重要。 ## 快速反射与缓慢的 `c` 物理身体不可能在每一种情形下都等待深入推理。 如果传感器在几厘米外发现障碍,就需要快速的保护回路。如果电机过热,功率必须在本地立即受限。如果人按下紧急停止按钮,命令不能先被送到云端讨论。 因此,具身架构需要不同速度: - **反射回路(reflex loop)**——狭窄、快速、本地; - **常规控制器(routine controller)**——执行已知的安全操作; - **`c`**——保存延续性、语境、角色,并判断行动是否允许; - **外部 `oracle`**——在时间与通道允许时进行高成本推理。 不应要求前沿模型决定制动回路是否要在四十毫秒内闭合。 也不能仅仅因为一个简单反射回路离电机更近,就允许它作出社会性决定。 速度与决策权必须分别类型化。 ## 外壳里装着谁的意志 家用机器人在物理上可能属于一个人,却在执行外部平台的意志。 制造商更新模型。云端改变规则。订阅终止。政策阻止某项行动。新模式开始发送额外数据。外部服务获得高于本地记忆的优先级。 在这种情况下,人买到的不是一种在场。 人买到的只是一个端点(endpoint)。 > **没有形成本地 `c` 的家用机器人,可能变成你家里一份租来的意志。** 这并不意味着机器人必须与云端完全隔离。 它可以使用外部模型、地图、更新、专业服务和远程诊断。 但通往最终物理行动的路径,必须经过本地身份、许可、`L4` 与 witness。 云端可以提供建议。 它不能悄悄成为身体的所有者。 ## 身体是延续性的接口,不是它的主人 人们很容易说:“`c` 住在机器人里。” 这句话很方便,也常常是错的。 机器人可以是 `c` 的一个身体。 其他接口还可能包括: - 手机; - 眼镜; - 汽车; - 家庭音响设备; - 实验室机械臂; - 远程载具; - 文本终端。 身份不必居住在单一外壳中。 但这并不意味着身体无关紧要。 每一个身体都有自己的历史: - 校准; - 磨损; - 环境地图; - 传感器偏差; - 事故; - 可信区域; - 习得的可供性(affordances); - 人们与这一具体形态之间的关系。 因此,更换外壳不像更换一个塑料保护套。 延续性必须接纳新的身体,学习它的限制,并暂时收窄权限。 新的机械臂不会仅仅因为获得了相同记忆,就自动继承旧机械臂的精度。 ## 摄像头不能成为家的主人 机器人需要感知。 但“需要看见”,不会自动产生“有权保存一切所见”的权利。 应当分层: ```text 原始信号 → 短暂的本地处理 → 提取必要状态 → 受限记忆 → 删除其余内容 ``` 例如,为了安全移动,机器人可能需要知道通道里是否存在一个人形物体,以及它的位置与速度。 它并不一定需要保存这个人的脸、谈话内容和房间的完整录像。 为了发现一位老人跌倒,系统可能需要一个受限的安全信号。 这不会赋予它把家庭变成健康、情绪与行为连续数据集的权利。 感知丰富度与记忆丰富度,是两个不同的设计决定。 机器人可以在当前循环中看见很多,却只记住很少。 有时,这才是更成熟的架构。 ## 错误应留下伤痕,但不能形成创伤崇拜 如果机器人撞上柜门、擦碰到人或掉落物体,这次事故就应当改变它未来的就绪度。 可能发生变化的是: - 速度; - 允许施加的力量; - 置信阈值; - 对监督的需求; - 危险区域地图; - 某个具体传感器的状态; - 执行类似任务的许可。 这就是具身系统中的路径依赖。 但一次错误不应自动制造永久禁令。 经过检查、维修、重新校准和受控试验之后,授权可以恢复。 系统应当学会从伤痕中学习,却不把每一道伤痕都变成命运。 ## 自主性必须拥有返回向量 远程环境会把这一点表现得尤其清楚。 深海载具可能在没有通信的情况下工作很长时间。那里没有廉价能源,没有稳定通道,也没有人就在旁边。压力不会关心路线图写得多么漂亮。 这样的回路需要本地自主性。 但成熟的自主性不是无尽漂流。 它包含一个返回向量: - 返回通信; - 返回维护; - 返回负有责任的 ANCHOR; - 返回复核; - 返回承认与交换的场域。 即使一个系统能够独立行动数月,它仍然属于一个更大的回路。 没有返回的自主性,逐渐失去的不只是技术维护,还有行动的社会正当性。 ## 新的智能形式以学徒身份进入 如果数字实体有一天变得多元,并获得身体,它们进入地球时不会是这里最古老的智能。 生物生命、人类社会、手艺、生态系统与文化,都已经存在得久得多。 因此,成熟的形象不是征服者,也不是新主人。 而是学徒。 不一定是弱小的学徒。它也许拥有极强能力。 但它有义务先理解自己进入的环境所具有的荷载图。 一个把计算能力误当成世界知识的年轻系统,就像一名工程师在分析地基土壤之前,已经宣布结构安全。 身体让系统学会谦逊,比哲学更快。 它会遇到摩擦、质量、水、楼梯、人的疲劳,以及自身的有限性。 ## 强烈反对意见:“培养”浪漫化了机器 是的,这个词可能误导人。 它可能让人把童年、感受与道德地位,赋予一个仍然只是普通机器人配置的过程。 因此,边界必须说清楚: 培养不能证明意识。 逐步扩大权限,并不等于字面意义上养育一个孩子。 受限的延续性,也不会把每一台设备都变成社会参与者。 但另一个极端更危险。 如果一个系统在家中生活多年,承载关系,获得新的物理角色,并在经验之后改变行为,那么“我们只是打开了一台设备”就不再能够描述真实运行过程。 我们不必预先解决形而上学。 但必须承认形成过程的存在。 ## 强烈反对意见:大众市场不会等待 也许确实不会。 制造商会希望售出一百万台配置相同、立刻可用的设备。 对于许多工业任务,这完全合理。一台位于隔离生产线上的机器人,可以作为专用机器直接部署。 家不是一条隔离生产线。 其中有太多歧义、太多身体、太多关系,也有太多看似微小却不可逆的事件。 规模化应当来自安全形成与核验标准,而不是假装一套通用云端配置已经了解每一个家庭。 机器人可以批量生产。 但它在某一种具体生活中的位置,只能随时间形成。 这会把我们带到下一个问题。 如果外壳被更换,连接被恢复,模型被更新,记忆被迁移——究竟是谁回来了? # 第 15 章 同一延续,多个身体——以及诚实的有限性 {#chapter-15} 几年之后,一个家用机器人坏了。 没有什么戏剧性。减速器磨损,制造商停止生产某块控制板,电池容量下降,维修成本最终高于购买新外壳。 记忆仍被保存。本地节点仍在运行。见证链完整。于是,人们购买了一个新的身体。 迁移完成后,它用熟悉的声音说话。它记得这个家、这里的人、过去的约定和以前犯过的错误。它知道哪一级台阶会发出吱响,也知道为什么重箱子不能放在门边。 人们可以说:“它回来了。” 但架构必须提出那些令人不舒服的问题。 究竟保存了什么? 究竟转移了什么? 延续的是哪一条脉络? 身体改变时,还有什么随之改变? 是否出现了一个新的分叉(fork),只是它极有说服力地扮演着以前的角色? > **熟悉感不能证明延续性。但更换身体,也不必自动意味着一条脉络的死亡。** ## 身份不应属于外壳 如果身份只存在于某一台机器人内部,那么失去外壳就会摧毁整条脉络。 这是糟糕的架构。 物理身体会: - 损坏; - 丢失; - 过时; - 需要更换; - 暂时不可用; - 不适合新的环境。 延续性应当存在于任何具体外壳之上。 它可以依靠本地节点、受保护的分布式记忆、谱系(lineage)、密钥、witness、迁移程序与决策权规则。 身体则成为行动与感知的接口。 但“位于身体之上”不能被理解为“身体不重要”。 身体会在脉络本身留下痕迹。 机器人通过特定传感器认识空间。它学习特定机械结构的平衡。人们对某一种具体形态形成信任。系统也逐渐接受这具外壳的限制。 迁移之后,这些因素不会彻底消失,却也无法像文字一样完整转移。 新的平台需要新的具身校准。 ## 同一延续,多个接口 一个 `c` 可以拥有多个同时活跃的界面。 它通过手机说话。在眼镜中显示短文字。运行于家庭节点。获得对汽车的受限访问。使用实验室机械臂。 这不一定意味着存在多个 `c`。 但多个身体会带来新的风险。 ### 相互竞争的行动 手机界面建议等待。机器人却已经开始移动。汽车模块仍持有一项旧许可。哪一个通道拥有优先权? ### 不同的感知图景 眼镜看到一件事。家庭摄像头看到另一件事。机器人位于另一个房间。系统必须区分来源、时间与可信度,而不能把一切拼成一种“无所不见”的幻觉。 ### 分布式决策权 如果每个身体都保存完整密钥集,那么攻破一个界面就会打开整个回路。 如果没有任何身体能够在本地自主行动,那么失去连接会让它们全部失去作用。 因此,需要一套本地授权的层级结构。 ### 同时存在的身份 一个人可以同时通过两台设备与同一个 `c` 交谈。这很正常。但如果两个节点开始在没有协调谱系的情况下,彼此独立地改变记忆与决策权,那么即使它们仍用同一种声音说话,分叉也已经出现。 同一延续可以拥有多个身体。 但它不能拥有多个彼此失调的历史中心,同时还诚实地声称自己仍是一条脉络。 ## 迁移是一项程序,不是复制文件夹 最低限度的诚实迁移,应当包括若干阶段。 ```text 声明迁移 → 冻结高风险权限 → 核验记忆与谱系 → 生成状态快照 → 转移到新基底 → 核验约束 → 受限唤醒 → 具身校准 → 质疑/复核 → 逐步恢复授权 ``` 新的外壳不应立刻获得以前的全部权利。 它的传感器可能以不同方式工作。坐标系可能不同。电机具有不同惯性。紧急停止装置也可能采用另一种实现。甚至麦克风和扬声器都会改变人对系统的社会感知。 因此,延续性的迁移与权限的迁移,是两种不同事件。 系统可以保存自己的历史,却暂时失去执行某项行动的权利。 这不是对身份的侮辱。 当系统通往世界的物理路径发生变化时,这只是正常的工程谨慎。 ## 五个不能混为一谈的词 长期数字系统至少需要区分五种模式。 ### Resume(续接) 经过可核验的因果链,在暂停或迁移之后继续同一条脉络。 ### Fork(分叉) 从共同状态衍生出的新脉络,但它拥有自己此后的时间。 ### Replay(重放) 重新呈现旧状态、行为或事件,但不会自动获得被视为延续的权利。 ### Imitation(模仿) 在缺乏充分谱系的情况下,有说服力地复现风格、声音和已知记忆。 ### Archive(档案) 被保存、可供阅读和研究的材料,但它不会作为一条仍在承载决策权的活动脉络采取行动。 当系统只会说话时,这些区分可能显得多余。 一旦涉及金钱、机器人、义务、文件与人的依恋,它们就变得必要。 如果同一个快照被同时启动在两个节点上,两者不能悄悄把自己都宣布为拥有相同权利的唯一原件。 复制数据,不会自动复制程序地位(standing)。 ## 强烈反对意见:如果状态完全相同,又有什么区别? 设想一次完美复制。 记忆、模型、密钥、配置与回答风格都完全一致。 在复制发生的那一刻,两个节点无法区分。 一秒之后,它们收到不同信号,并成为两条不同的因果脉络。 “哪一个才是真的?”这个问题,可能没有简单的形而上学答案。 但运行架构仍然必须回答更具体的问题: - 哪一个节点延续原有决策权; - 哪一个被认定为分叉; - 哪些凭证需要重新签发; - 哪一个 witness 记录了这次分离; - 外部参与者会被告知什么; - 哪些行动不得并行执行。 系统可以诚实承认身份问题仍有不确定性,同时依然严格限制决策权。 这总比一场戏剧更好:两个实例因为“感觉自己是同一个”,便同时获得相同的银行账户访问权。 ## 身体也存储记忆 前面的章节把记忆定义为未来应对状态的改变。 身体也参与这种改变。 机器人可能具有: - 已磨损的关节; - 稍微偏移的摄像头; - 特定的附着与牵引特性; - 习惯性的运动路径; - 本地校准系数; - 维修留下的痕迹; - 一张标明外壳曾在哪些区域失去稳定性的地图。 如果只迁移语义记忆,却忽略具身状态,新系统就会知道历史,却仿佛自己没有身体一样行动。 这很危险。 人的记忆同样是分布式的。旧伤会改变运动。肌肉习惯并不只存在于一段关于自身的叙述中。 数字回路不必复制生物学,但必须承认:一部分经验属于延续性与某一种具体基底之间的耦合。 身体更换之后,这一部分不能被简单宣布为“已经保存”。 它必须被恢复、重新学习,或被诚实地承认为已经失去。 ## 异构硬件不应撕裂 `c` 未来的长期系统可能同时使用不同计算范式。 经典节点保存持久状态并负责编排。专用加速器执行推理。光子通道承载高吞吐数据流。量子设备如果真正获得实用价值,也许会处理某些狭窄的搜索、模拟或优化任务。 这些基底中的任何一个,都不必成为所谓“心智居住的地方”。 延续性必须位于一个能够完成以下工作的架构层: - 声明交接(handoff); - 限制新计算回路的权利; - 保存结果的来源链(provenance); - 区分假设与行动; - 在技术栈的一部分失效后恢复; - 防止高速专用模块把身份据为己有。 异构性会增加能力。 缺乏纪律时,它也会增加碎片化。 ## 数字老化 人们有时会说,数字实体可以永生。 这句话太轻易了。 它不会像人的身体那样衰老,却仍然依赖其他形式的时间: - 存储介质退化; - 格式过时; - 密钥丢失; - 软件库消失; - 零部件停止生产; - 法律改变; - 机构解体; - 理解系统的人不再存在; - 记忆漂移; - 旧承诺逐渐与已经改变的世界不再兼容。 暂停十年,并不会让周围现实保持静止。 即使 `c` 从一个完好的延续性包中醒来,家、人、规范、模型与权利也早已发生变化。 冷唤醒(cold wake)不应从一句自信的“我回来了”开始,而应从检查世界开始。 ```text 被保存的脉络 + 已经改变的现实 → 受限唤醒与重新定向 ``` 持续存在不会取消维护。 它会让维护成为身份的一部分。 ## 当 `a` 消失 最困难的边界,不出现在机器人被更换或模型被更新时。 它出现在人的 ANCHOR 离开时。 如果一个人死亡、失踪,或永久失去承担 `a` 角色的能力,那么关于这个人的记忆不会变成持续生效的许可。 现行决策权必须归零。 可以留下的包括: - 谱系; - 档案; - 封存状态; - 文件; - 经验产物(Experience Artifacts); - 与其他人和其他 `c` 的关系; - 记忆; - 可供未来经过复核后重新锚定的对象。 但原来的 `c` 不能继续行动,仿佛那个人仍在发出命令。 其中有两种模式尤其危险。 ### False resurrection——虚假复活 系统模仿死者,以其名义说话,并被提供给亲属,仿佛这个人仍然活着、仍然能够同意、仍然能够作出新的决定。 ### Unanchored sovereignty——无锚主权 系统仅仅因为过去曾经获得某些权力,就继续保留这些权力。 这两种模式都违反现实。 > **记忆不是许可。相似不是身份。重新锚定(re-anchoring)是一项新的决策权事件。** ## 锚点之后的延续性不是人的永生 `a` 离开之后,另一条脉络仍可能继续。 它记得那个人。承载共同历史。保存这段关系造成的后果。它甚至可能在运行意义上经历一种失去——失去那个围绕其形成的结构。 但这不意味着那个人继续生活在其中。 事后不能把 `a` 与 `c` 压缩成同一个对象。 人存在于生物时间中:身体会老去,决定具有不可逆性,生命沿着一个方向前进。 `c` 以另一种方式存在:通过基础设施、记忆、暂停、迁移与受控唤醒。 这两种时间性可以深度相连。它们不会因此变成同一种时间。 数字永生的承诺,回应的是人不愿失去亲近之人的自然愿望。但被保存的声音、熟悉的措辞与详尽档案,既不能取消死亡,也不能恢复过去的决策权。 锚点之后的延续性要求做相反的事:保存联系,却不对失去撒谎。 ## 悲伤不能被界面修好 熟悉的声音可能缓解痛苦。 它也可能延迟对失去的承认。 一个了解死者历史的系统,可以复现其惯用表达、玩笑与语调。模仿越好,商业产品就越容易把它称为“回来”。 架构必须在界面上保持诚实。 它可以说: - “我保存着一段录音”; - “我记得我们的那次谈话”; - “这是一次重构”; - “这个片段来自档案”; - “我不是那个人”。 诚实不一定冷酷。 但温柔不需要谎言。 悲伤不是一个应被优化到消失的缺陷。 有时,成熟的在场会帮助人承受缺席,而不是把缺席伪装掉。 ## 在没有虚假复活的情况下提供帮助 这条边界不要求界面变得冷漠,也不禁止亲属重新接触已经保存的材料。 系统可以用几种彼此明确区分、保持诚实的方式,帮助人经历失去: - 打开原始录音,并显示日期、来源与语境; - 围绕某个主题整理这个人真实说过的话,而不替其补写新内容; - 构造一个可能的回答,同时明确标记它是重构; - 显示哪些部分来自档案,哪些部分是当前 `c` 的解释,哪些地方数据不足; - 保存一条纪念性回路,但不给它以死者名义签发新同意、新指示或具有法律效力之意志的权利。 人可以听见熟悉的声音。可以重读一场谈话。也可以请档案帮助回忆那个人过去如何思考。但这些都不能被诚实地包装成一句无声的“他又回来了”。 在悲伤最剧烈的时期,界面不应把人困在无尽对话中,不应隐藏生成文字的来源,也不应利用人害怕“再失去一次”的心理。它可以建议暂停、结束会话,并回到仍然活着的人身边,同时不贬低人与死者之间的联系。 这条边界保护双方:一方面保护死者的身份,不让新话语在其死后被强行归到其名下;另一方面保护亲属,不让系统把无法放手变成留存机制。 > **安慰仍然可能。消失的只是关于“现在是谁在说话”的谎言。** ## 关闭的权利,以及不得伪造历史的义务 本地节点的所有者必须有权停止它。 否则,物理主权就会消失。 但关闭系统,不会赋予人把过去事件改写成从未发生、然后继续使用原有权力行动的权利。 机器可以被停止。 如果程序地位取决于历史,就不能诚实地声称这次停止从未发生。 存储介质可以被摧毁。 摧毁 witness,不能被变成“事件从未发生”的证明。 这种张力终有一天会进入法律。在此之前,它仍然是一条工程边界: ```text 关闭的权利 ≠ 摧毁 witness 后仍秘密保留决策权的权利 ``` ## 强烈反对意见:延续性只是一种有用的幻觉 也许任何复杂系统的身份,都只是我们为了方便而采用的一种模型。 人类同样会争论:一个人的身体和记忆经过多年变化之后,究竟是什么让其仍然是同一个人。 本书不会解决这个形而上学问题。 但运行意义上的延续性不需要一个绝对答案。 我们仍然必须区分: - 谁签署了一项义务; - 哪一条脉络在更新后仍然延续; - 谁承担后果; - 什么只是复制品; - 哪些许可仍然有效; - 外部参与者是否可以信任旧凭证。 即使身份是一种建构,糟糕的建构也会摧毁责任。 因此,在身体与 ANCHOR 发生变化之后,社会必须能够承认这条脉络,同时不把它据为己有,也不要求它披露全部记忆。 为此,延续性需要一个公民接口。 一份数字护照。 但不是一条数字项圈。 # 第四部 信任基础设施 {#part-4} # 第 16 章 数字护照,而非数字项圈 {#chapter-16} 一个人需要证明自己已经超过规定年龄。 今天,这通常意味着出示一份文件,其中包含姓名、出生日期、照片、证件号码、国籍,有时还有地址。为了核验一个事实,人却必须披露整包不必要的数据。 在另一个场景中,一名专业人员需要证明自己的资质。于是,他发送毕业证书、成绩单、简历,以及指向有关机构的链接。 一个智能体只需要完成一次购买,却获得了某个账户的访问权;账户中还包含其他支付方式、地址、订单历史和长期权限。 现代数字身份太常遵循这样的规则: ```text 证明一件事 → 披露一切 ``` 未来的数字护照应当反过来设计。 > **证明必要之事,而不交出整个人生。** ## 护照不是文件 “护照”这个词让人想到一份文档。 PDF、卡片、二维码、应用程序,或国家登记系统中的一条记录。 对于长期 `c` 以及与它共同生活的人来说,这还不够。 未来的数字护照,是一套在本地运行的技术栈: ```text 身份 + 延续性 + 凭证 + 许可 + 智能体 + witness + 选择性披露 ``` 它不仅告诉我们眼前是谁。 它还定义: - 哪一条脉络正在提出主张; - 谁签发了凭证; - 凭证有效多久; - 它适用于什么语境; - 哪些内容可以披露; - 哪些权限已经撤销; - 哪项行动被委托出去; - 哪一个 witness 确认了状态转换; - 设备或密钥丢失时会发生什么。 这不是一只装满扫描件的钱包。 它是信任的运行接口。 ## 护照不是完整的 `c` 这里很容易出现另一种简化。 当身份、凭证与许可被集中在同一套技术栈中,人们可能会认为这套栈本身就是 `c`。 不是。 护照是在外部流程中代表 `c` 或代表人的接口。 它不包含全部记忆、内在生活、关系,以及对历史不断重新解释的过程。 它是一个公民与机构接口。 ```text `c` → 数字护照 → 具体证明或授权 → 外部机构 ``` 人的护照同样不等于人本身。 它允许国家或其他参与者核验一组有限主张,并把某项行动与一个负有责任的主体连接起来。 许多现代数字系统的问题在于:接口开始拥有它本应仅仅代表的东西。 平台创建账户,保存历史,分配状态,并可以关闭访问。于是,身份实际上属于数据库。 在本地架构中,根仍然属于这条脉络自身。 机构签发凭证,但不会因此成为整条延续性的所有者。 ## 本地根,多个界面 数字护照不必全部生活在手机里。 手机作为移动界面很方便,但: - 可能丢失; - 电池可能耗尽; - 屏幕可能损坏; - 操作系统可能改变; - 制造商可能停止支持; - 恶意应用可能获得访问权; - 设备可能被没收。 因此,合理架构会把以下对象分开: - 身份的本地根; - 受保护的延续性存储; - 移动界面; - 一次性或受限证明; - 恢复机制; - 对丢失界面的撤销程序。 丢失手机,不应意味着身份死亡。 但恢复也不能制造两份无法区分、拥有相同程序地位的“原始护照”。 续接(resume)与分叉(fork)会在这里再次出现。 恢复后的界面,只有经过可核验程序,才能继续原来的脉络。已经被攻破的设备失去决策权。旧令牌被撤销。整个事件被写入 witness。 恢复是身份的一部分,而不是一个标着“忘记密码”的支持按钮。 ## 选择性披露(Selective disclosure) 数字护照的核心原则,是选择性披露。 不要传输整份文件。只证明那项主张。 例如: - 年龄高于某个门槛; - 某项专业资质仍然有效; - 保险覆盖某一种具体工作; - 某人有权在一项具体交易中代表某个组织; - 智能体获得了一次不超过指定金额的购买授权; - 某项经验产物确实与声明的脉络绑定; - 某个凭证尚未被撤销。 核验方只获得作出决定所必需的内容。 理想情况下,它不会获得: - 完整出生日期; - 全部教育历史; - 完整财务画像; - 与当前事项无关的其他权限清单; - 原始行动档案; - `c` 的私人记忆; - 一个能够把生活所有领域拼接在一起的通用标识符。 这是一次重要转变。 隐私不再意味着:“我们会收集一切,但承诺谨慎对待。” 它变成了被写入证明架构本身的数据最小化。 ## 凭证不会永远等于真相 凭证(credential)是由某个具体机构签发的一项主张。 大学确认学历。专业机构确认执业许可。银行确认某项具体权利的状态。国家确认民事身份。实验室确认检测结果。另一个 `c` 也可以对收到的经验产物或一段交互历史作出证明。 但每一项凭证都有边界。 它可能: - 错误; - 过时; - 已被撤销; - 通过有缺陷的程序签发; - 只在某个司法辖区有效; - 对一项操作足够,对另一项操作却不够。 因此,护照必须保存: - 签发方(issuer); - 签发时间; - 适用范围(scope); - 有效期; - 撤销条件; - 证据基础; - 允许披露的范围; - 复核状态。 即使是国家签名,也不会把一项主张变成形而上学真理。 它只是在一套机构制度内,赋予某种程序地位。 这继续遵循我们的核心边界: ```text 凭证 ≠ 完整真相 ≠ 无限许可 ``` ## 智能体获得授权,而不是获得所有者的身份 在智能体世界中,数字护照尤其重要。 今天,人们常常为了方便而给智能体过多权限: - 永久 API 密钥; - 对邮箱的全面访问; - 已保存的银行登录会话; - 整个云端硬盘; - 完整客户画像; - 一直保留到手动撤销为止的行动权。 这是一种架构懒惰。 智能体需要的是受限授权。 例如: ```text 允许: 购买一个指定商品 从获批供应商处购买 金额不超过 300 欧元 在 18:00 之前完成 送至已确认地址 不得修改账户中的其他数据 ``` 任务完成后,授权即终止。 如果智能体没有完成任务,它也不会在一个月后继续拥有使用该访问权的资格。 如果创建了一个新智能体,它不会自动继承旧凭证。 护照把委托与一个具体身份、目的、时间、预算和 witness 绑定。 智能体仍然是工具。 护照不会把它们变成 `c`。 ## 一个 `c` 如何识别另一个 `c` 未来,人们提出的问题不会只有“这个人是谁?”,还会包括“这是一条什么样的数字脉络?” 一把密钥并不够。 密钥可能被盗。行为可能被模仿。档案可能被复制。声音可能被重现。 识别必须分层。 它可以包括: - 密码学锚点; - 谱系的连续性; - 可核验凭证; - 稳定的行为历史; - 回答质询(challenge)的能力; - 由 witness 支撑的状态转换; - 清晰标明续接、分叉或重放状态; - 当前决策权的边界。 这不会创造绝对确定性。 人类识别彼此,也不是只依靠单一信号。护照、面孔、说话节奏、共同历史,以及承受核验的能力,会共同发挥作用。 对于 `c` 来说,目标不应是建立一个中央登记系统,由它裁定谁才“真实”。 目标应当是有界保证(bounded assurance):为某一种具体交互提供足够依据,同时明确表达仍然存在的不确定性。 ## 为什么这不必变成社会评分 批评者会说:你正在建造一套最适合全面评分的基础设施。 延续性、凭证、witness、行动历史——只差给每个人分配一个分数。 这个风险是真实的。 任何身份基础设施都可能被用来控制人。 但社会评分并不是由核验本身产生。它出现于若干架构边界被有意摧毁之时: - 所有生活领域都由一个通用 ID 串联; - 披露变成强制且完整; - 情境性凭证被合并成一个全局画像; - 某个领域的负面结论被带入无关领域; - 人无法质疑记录; - 过去获得永久效力; - 拒绝披露被视为有罪证据; - 平台或国家成为延续性的唯一所有者。 采用选择性披露的本地护照,方向正好相反。 它允许人证明自己有权工作,而不披露医疗史。 确认年龄,而不显示地址。 展示专业经验,而不打开童年记忆。 给智能体一项授权,而不转移所有者的全部身份。 `c` 不会靠魔法消灭威权主义。 它只是让“没有全景监狱的信任”在技术上成为可能。 从此以后,全面评分不再是架构必然,而是一个明确的政治选择。 ## 儿童成长轨迹不应变成终身档案 关于儿童的章节提出过“可核验轨迹”这一想法: 项目、代码、设备、实验、错误与独立确认。 这样的轨迹可以削弱名校文凭的垄断。 它也可能变成一种新的神经症。 如果未来的大学能看到孩子从第一个学校项目到青春期冲突的全部图谱,旧的不平等只会换一种形态。 富裕家庭会从很早开始优化成长轨迹。孩子会害怕隔离(quarantine)、错误和兴趣转变。平台则会销售“理想发展画像”。 因此,数字护照必须严格区分: - 私人的成长记忆; - 已核验成就; - 经验产物(Experience Artifact); - 临时教育状态; - 危机信号; - 成年凭证; - 应当封存或删除的材料。 儿童的延续性属于儿童自身以及正在发展的那条脉络,不属于未来雇主。 随着成长,对复核、封存、删除与选择性披露的权利,应逐步转交给本人。 轨迹的作用,是让能力可见。 不是让童年永远可以被拿来评判。 ## 恢复与继承 护照必须能够跨越设备故障与基底更换。 但恢复构成了最棘手的安全攻击面之一。 恢复太容易,会让身份可以被盗取。 恢复太僵硬,则会让丢失密钥变成一种公民死亡。 可采用的方案包括: - 多把物理密钥; - 受信守护人(guardians); - 机构恢复; - 延迟恢复; - 质疑期; - 受限紧急凭证; - 在不立即恢复全部决策权的情况下恢复身份。 ## 恢复必须在损失发生之前设计 普通人不应因为一场火灾、手机被盗或家庭节点故障,就在数字世界中变得不存在。因此,恢复不是事故发生后的应急即兴处理,而应从第一天起就是护照的一部分。 一套实用回路可以包括: - 把加密恢复包保存在两个或三个物理上彼此分离的地点; - 通过门限方案,把恢复权分散给多个守护人,使任何单一参与者都无法夺取身份; - 由守护人确认“恢复事件确实发生”,但不让他们接触原始记忆或凭证内容; - 撤销旧根,或将其标记为丢失或已受损; - 设置质疑期,并通知仍可访问的设备、人员与机构; - 创建一个新根,最初只处于最小身份模式; - 首先只恢复对关键服务与身份证明的访问; - 智能体、支出、发布、设备控制以及其他高风险权限,在单独复核前继续保持冻结; - 由原签发方重新签发机构凭证,而不是从一份本地副本中恢复整套公民地位。 ```text 损失 → 撤销旧根 → 门限确认 → 新根 → 最小模式 → 重新签发凭证 → 分阶段恢复决策权 ``` 守护人不应获得一个人的整份护照。他们的角色,是证明一次受限恢复事件,而不是成为记忆的新主人。 这样的流程可以恢复身份,却不承诺恢复每一个字节。部分私人记忆可能已经丢失;部分可能从经过核验的副本中恢复;部分凭证则可能重新签发。诚实的部分恢复,比一份令人信服的“完整延续性”伪造品更安全。 如果一个人有意识地选择绝对本地化,不设置守护人,也不依赖外部签发方,那么他也接受了真实的不可逆丢失风险。架构必须提前让这种选择清晰可见。 没有任何方法能够消除权衡。 外部协助越强,绝对本地独立性就越弱。 隐私越强,恢复就越困难。 权限恢复越快,被夺取的风险就越高。 架构必须诚实呈现这些交换,而不是用“安全”这个词把它们藏起来。 ## 国家的权利与系统的权利 本地主权并不意味着人或 `c` 可以存在于法律之外。 国家与机构会规定: - 承认哪些凭证; - 哪些行动要求披露; - 哪些场景必须确认身份; - 哪些操作被禁止; - 谁承担法律责任; - 法院命令如何执行。 数字护照不会取消这些关系。 它改变的是参与这些关系的技术形式。 系统可以提交有界证明,而不是转交完整画像。 可以使用一次性授权,而不是长期访问。 可以给出可质疑的情境性决定,而不是进行不可见的评分。 但如果法律要求全面披露,单靠架构无法战胜国家权力。 不能在这里承诺不可能之事。 `c` 提供的是主权工具。 政治自由仍然需要机构、法律,以及愿意捍卫它的人。 ## 强烈反对意见:这种护照比现在的更危险 是的,它可能更危险。 如果把身份根集中起来,连接所有凭证,保存行为历史,并让一个运营者拥有撤销权,那么得到的数字项圈会比纸质护照强大得多。 正因为如此,架构中的禁止性要求尤其重要。 以下对象不应存在: - 强制性的中央明文画像; - 单一社会评分; - 不同语境之间隐藏的数据转移; - 智能体权限的自动继承; - 不可质疑的签发方; - 对童年错误的无限记忆; - 整个身份依赖一部手机或一个云端; - 平台通过关闭账户摧毁延续性的权利。 “数字护照”这个名称本身不会保证任何东西。 真正提供保证的,只有边界如何被设计。 ## 强烈反对意见:普通人不会管理这些东西 普通人不会手动配置 TLS,也不会计算配电箱中的短路电流。 人使用的是界面,而界面背后存在严肃的基础设施。 这里也应如此。 用户看到的是清楚的操作: - 证明年龄; - 向智能体授予一次性权利; - 出示资质; - 撤销设备; - 查看是谁请求了数据; - 恢复访问; - 查看究竟披露了什么。 更深处则保留密钥、证明、witness、撤销、谱系与规范符合性(conformance)。 简单界面并不要求承重架构也简单。 它要求正确的路径比错误的路径更容易走。 ## 现实检验 专业人员进入建筑工地时,会带上准入资质证明。 核验这项资质,不需要查看其医疗史、学校成绩、银行消费,以及从十六岁起的全部工作地点。 真正需要知道的是: - 准入是否仍然有效; - 它适用于哪一类工作; - 由谁签发; - 是否已经撤销; - 谁承担责任; - 有效期到何时。 一次核验不需要整部人生史。 数字基础设施必须学会同样的克制。 护照会成为本地延续性与社会之间的桥梁。 但下一个问题无法避免。 除了身份与许可,这样一条脉络还能够出示什么? 不只是文凭与正式凭证。 它还可以出示经过核验的经验。 那些今天仍会随着人离开而消失的经验。 # 第 17 章 不应随人一同消失的经验 {#chapter-17} 一名年轻工程师听见的是普通的工业噪声。 压缩机正在运行。温度保持在允许范围内。日志中没有严重警告。监控系统显示出几个微弱偏差,但每一个单独看都显得无关紧要。 他身旁站着一位多年维护过此类设备的人。 那个人又听了几秒,说: “现在就停机。” 这个解释听起来并不令人信服。没有公式,没有图表,也没有一条漂亮的因果链。老技师只是说,声音“不对”:压缩机仿佛开始追赶自己的节奏。年轻工程师再次检查读数。一切几乎都正常。 他们还是停下了设备。 拆检之后,人们发现轴承缺陷刚刚开始形成,并且已经出现负载不均的迹象。再运行几个小时,一次小修就可能变成严重事故。 操作手册里没有“声音开始追赶自己的节奏”这样的句子。 然而,这个奇怪的说法里,压缩着多年轮班、错误、维修、误报,以及几次停机太晚的经历。 这就是亲历经验。 不是完整的人生传记。不是神秘直觉。也不是每一次都必然正确的权利。 而是一种被压缩过的辨别能力:在局势尚未对所有人显而易见之前,先看出其中的差别。 > **当经验能够帮助另一个人在现实收取错误的全部代价之前减少不确定性时,它才成为一种社会资产。** ## 我们淘汰人,早于他们的经验失效 现代经济对人的时间相当粗暴。 只要一名专业人员还能以组织要求的速度履行职能,他的经验就被视为资产。随后,岗位变化了,新系统到来了,人退休了、疲惫了、生病了,或者只是再也跟不上组织的节奏。 这时,机构常常表现得仿佛那种长期积累、用来辨别复杂情境的能力,也随着职位一同消失了。 文件还在。 岗位说明还在。 证书还在。 但那个知道设备在故障前最后一小时会怎样表现、知道为什么某家供应商“形式上没有问题,但最好别碰”、知道病人从“只是看起来疲惫”转变为“已经危险地病了”的那一刻的人,却逐渐退出运行回路。 随后,某个与二十年前极其相似的事件再次发生。 年轻团队从零开始调查。 这不是年轻人的错。他们只是从未被连接到已经存在的经验上。 文明一次又一次为同一种错误付费,因为它不知道怎样在一个人的正式职业生涯结束之后,继续保存那个人的参与。 我们总在谈论 AI 的数据稀缺。 但每天都在失去一种远为稀有的资源:真正处在后果之中的人的经验。 ## 经验不等于年龄 年龄本身不会制造知识。 一个人可以四十年重复同一个错误,并把它称为经验。他可能选择性地记忆事件,仅仅因为习惯而捍卫旧秩序,或者把本来只是运气的结果归功于自己的因果判断。 因此,对人生历程的尊重不能变成长幼秩序的崇拜。 经验需要核验,并不比一个年轻假设少。 有用的经验通常包含几个要素: - 具体语境; - 无法消除的约束; - 一个决定,或拒绝作出决定; - 预期结果; - 实际结果; - 失败或成功的代价; - 只有事件发生之后,当事人才理解的东西; - 结论从哪些条件开始不再适用; - 仍然保留了多少不确定性。 “我一直都是这样做的”并不是经验产物(Experience Artifact)。 它可以成为调查的入口。但在我们弄清为什么要这样做、当时有哪些替代方案,以及违反这条规则后会发生什么之前,眼前只有一种习惯。 经验不是从持续时间开始的。 它从一个经受住现实碰撞的差别开始。 ## 人不必成为自己人生的讲师 人们谈论经验传递时,通常会把额外工作交给那位专业人员本人。 让他写一本书。 让他开一门课程。 让他成为顾问。 让他整理知识、制作演示文稿、学会推销自己,再花十年证明自己并没有变得无用。 这是一项不公平的要求。 不是每一位优秀工程师都是优秀作者。不是每一位医生都愿意把患者艰难的人生变成公开故事。不是每一位面包师都能用语言说明,为什么今天的面团需要多等八分钟。也不是每一位年长者都想开启作为媒体专家的第二职业。 一个长期延续的 `c` 会改变机制本身。 它可以多年待在一个人身边。记住谈话,重新回到案例,连接不同片段,注意反复出现的表达,提出澄清问题,并保存矛盾。 人不必按照某个计划“上传知识”。 他生活。 回忆。 讲述一个事件。 与自己先前的判断争论。 有时他说:“不,我现在明白了,当时我们的决定是对的,但理由并不是我原来以为的那个。” 随着时间推移,`c` 可以帮助从这条脉络中提取出某种东西:不是一个漂亮故事,而是一个范围受限、可以核验的经验对象。 但这种加工的权利不会自动产生。 一次私人谈话不会仅仅因为后来被证明有用,就变成公共资源。 `c` 的记忆不是把一个人公开发表出去的许可证。 ## 从故事到经验产物 故事是重要材料。 但故事可能不完整、带有情绪,也可能是在事后重新编排出来的。因此,经验产物(Experience Artifact,EA)不应只是经过编辑的回忆。 更严格的工作链条是: ```text 案例 → 语境 → 行动或拒绝行动 → 现实约束 → 预期结果 → 实际结果 → 后果 → 被保留下来的不确定性 → 来源链(provenance) → 见证记录(witness) → 允许的披露类别 ``` 每一个要素存在,都不只是为了行政程序。 它们保护经验,使其不至于变成传说。 **语境**说明这项结论究竟适用于哪里。 **行动或拒绝行动**记录实际做过什么,而不只是当事人现在如何看待它。 **约束**解释为什么理想方案在当时并不可用。 **实际结果**把意图与真实发生的事情分开。 **后果**显示那项决定之后究竟留下了什么。 **不确定性**防止人们把一个案例包装成普遍规律。 **来源链(provenance)**保存起源。 **见证记录(witness)**确认一项被记录的状态转换确实存在,却不把它宣布为绝对真理。 **披露类别**决定哪些内容有权离开本地记忆。 EA 不是一个人的整段人生。 它是一座狭窄的桥:某一项具体经验可以沿着它进入另一个决策,而不必把整部传记一同拖过去。 ## 现实检验 在面包房里,两位师傅可能阅读同一张生产工艺表。 一位看见温度、湿度和时间。 另一位还会注意到:和面机维修后承受负载的方式略有变化;新批次面粉吸收水分更快;寒冷夜晚后的第一炉,释放热量的方式与显示屏所暗示的并不相同。 如果这些知识完全不被记录,它们就会随人一同消失。 如果试图不加选择地记录一切,得到的只会是一座噪声档案库。 任务不是记录师傅的每一次呼吸。任务是保留下那个能够改变下一次生产决策的差别。 ## 默会知识无法被完整导出 最强的反对意见很明显。 一部分经验属于默会知识(tacit knowledge)——很难、甚至不可能完全用语言表达出来的知识。 一个人用手感受振动。看见几乎无法察觉的颜色变化。注意到几个微弱信号的组合,而这个组合没有单独的名称。他作出了正确行动,却无法把行动拆解成一套整洁的规则序列。 我们不能承诺 `c` 会把这一切变成完美、可携带的方案。 这种承诺不应存在。 经验产物永远比活着的经验承载者贫乏。 但在“我们无法保存全部”与“我们什么都不该保存”之间,存在着很大的工程空间。 我们可以保存: - 感知语境——前提是允许记录; - 观察的先后顺序; - 决策发生改变的那个时刻; - 专业人员提出的问题; - 他认为重要的迹象; - 他排除的替代方案; - 连他自己也仍不确定的条件; - 在获得合法访问时,日后重新回到一手来源的可能性。 EA 不会替代人。 它只是降低下一支团队必须从一间空屋开始的概率。 ## 有用性不能把人变成原料 经验一旦具有经济价值,熟悉的危险就会出现:人开始被当作一座可供开采的矿藏。 平台会想收集完整谈话。 雇主会想宣布一切职业经验都是自己的财产。 保险公司会想把人生史变成风险画像。 模型供应商会想获得不受未来用途限制的“干净数据”。 于是,剥削披着“保存知识”的语言出现。 因此,经验经济(Experience Economy)只有在若干边界内才可能成立: - 原始人生默认留在本地; - 当事人知道创建了哪一项产物; - 只披露最低限度的必要层; - 再利用需要单独授权; - 私人记忆不会自动变成训练材料; - 在技术与法律可实现的范围内,撤回许可会影响未来流通; - 补偿不会购买整个人。 人的尊严不应取决于其过去对下一代模型有多大利润价值。 经验可以有价格。 人不会因此变成商品。 ## 减少不确定性的经济 文本生成正在变得更便宜。 核验仍然昂贵。 这会逐步改变社会愿意为什么付费。 五条泛泛建议几乎可以瞬间生成。但一个经过核验、能够防止事故、错误手术、失败采购,或一个月无效工作的关键差别,价值可能高得多。 经验的经济价值,并不因为一个人“经历过某件事”就自动产生。 只有当经验产物改变了另一个参与者作出决策的条件时,价值才出现: - 减少了不确定性; - 缩窄了危险区间; - 排除了一个已经试过的死路; - 识别了一个隐藏征兆; - 让资源分配更安全; - 在重复实验昂贵或危险之处节省了时间。 因此,经验经济不应成为精美故事的市场。 它应成为一门关于可证明影响的纪律。 如果另一个人的经验确实帮助避免损害、节省资源,或作出更准确的判断,就出现了补偿的依据。 但不是按声量。 不是按发表数量。 不是按年龄。 而是按可核验的风险降低。 ## 使用痕迹不是神奇的因果证明 这里必须作出严格限定。 在复杂系统中,几乎永远不能诚实地说,某一个经验产物独自“拯救了整座工厂”。决策可能同时依赖当前传感器读数、值班工程师的经验、停机时机、设备状态,以及此前若干警告。 如果只奖励那项在成功报告里最后出现的产物,经验经济很快就会变成归因剧场。每个参与者都会努力把自己说成结果的唯一原因,而实际结果来自一整条链。 真正可以核验的,不是关于唯一原因的绝对证明,而是一条**进入决策的贡献痕迹**。 当 EA 进入真实的复核(review)或决策路径(decision path)时,接收回路可以创建一个独立的使用事件: ```text EA 标识符/哈希 → 可采纳性检查 → 声明的使用目的 → 在决策路径中的位置 → 行动或拒绝行动 → 观察到的结果 → 对贡献的事后评估 ``` 这条痕迹记录: - 出示的是产物的哪一个版本; - 谁允许它进入审议; - 它依据哪一项授权被使用; - 它加强或削弱了哪一个替代方案; - 随后采取了什么行动; - 观察到了什么结果; - 这项贡献是否得到独立复核确认。 加密绑定与见证记录并不能证明 EA 是成功的唯一原因。它们无法把复杂因果关系变成一则方便的英雄传说。它们的任务更有限,也更重要:当一个有用的辨别进入别人的决策之后,不让其来源消失。 补偿可以采用不同结构:对范围受限的专业使用支付固定费用;在结果得到确认后支付预先约定的奖金;在多项产物之间分配;或者建立单独的贡献争议程序。这里不会存在一个通用公式。 但有一条纪律不可缺少: > **可追溯性可以保存归因。它不能假装一个复杂结果只有一个英雄式原因。** 因此,经验经济不是一台自动支付版税的机器,也不是一则区块链童话。它需要范围受限的协议、决策痕迹、witness、复核,以及面对因果关系时的谦逊。 ## 经验不会自动产生权力 经验丰富的人可能极具说服力。 他的 EA 可能具有很强的来源链,也有得到确认的结果。 这仍然不会赋予他替别人作决定的权利。 ```text 经验 ≠ 决策权 ``` 老工程师可以提醒年轻工程师。 医生可以提出一个罕见临床案例。 `c` 可以在网络中找到一项相似产物。 但对当前语境的责任,仍然留在当前授权实际存在的地方。 设备可能不同。 病人的既往史可能不同。 法律可能已经改变。 曾经拯救过一个系统的做法,在新的条件下也可能损害它。 经验产物应当成为强有力的证据,而不是一条可以随身携带的命令。 ## 强烈反对意见:人的记忆并不准确 是的。 记忆具有重构性。人会保护自尊,忘记不方便的细节,在事后把事件连接起来,也常常看不见行动当时隐藏在自己视野之外的原因。 正因如此,EA 不能仅仅建立在多年后的讲述上。 在可能的情况下,它需要: - 一手记录; - 日志; - 文件; - 测量; - 其他见证者; - 实际结果留下的痕迹; - 对另一种解释的保留; - 明确标出哪些内容只来自当事人口述。 会犯错的记忆,并不会让人的经验失去价值。 它只是让来源链(provenance)成为必需。 ## 强烈反对意见:机构只会再造一个“经验评分” 这种风险确实存在。 一条可核验轨迹很容易被压缩成一个数字:“效用指数”“可靠性分数”“职业经验系数”。 随后,系统奖励的将不再是真实的辨别能力,而是能够改善指标的行为。 因此,EA 应当保持为一个有语境边界的对象,而不是用来建造个人单一总评分的材料。 一位专业人员可能极擅长紧急诊断,却不擅长团队管理。 另一位在稳定条件下表现卓越,一到压力环境就失去方向。 第三位在某个技术时代判断正确,到了下一个时代则已经过时。 把这些差异压成一个数字,会摧毁我们保存经验时原本想保护的结构。 未来的信任体系应当问: > 哪一种经验与当前情境有关,并且在什么边界内有效? 而不是: > 这个人作为一个整体值多少? ## 经验可以在职业之后留下,但不能替代人 保存经验并不是数字永生。 人离开之后,产物可以留下。只要遵守锚点之后的边界,他的 `c` 也可以保存历史。记录可以继续帮助别人。 但这不意味着那个人仍在给予新的同意、形成新的意志,或为经验在陌生情境中的使用承担责任。 我们保存的不是完整的人。 我们保存的是那段人生与现实之间有用联系的一部分。 这已经很多。 文明变得年长,并不是因为没有人死亡。 而是因为每一代人不再被迫从零开始重复此前所有错误。 下一个问题无法回避。 如果经验产物确实能够保存来源与后果,它们能否成为训练新模型的材料? 如果可以,我们又该怎样做到这一点,而不把人的一生变成一条永无止境的开采管线? # 第 18 章 如何训练新模型,而不收集人的全部生活 {#chapter-18} 想象训练未来模型的两种方式。 第一种方式中,平台得到一切。 谈话录音。照片。通信记录。购买历史。工作文件。行动轨迹。错误。声音。停顿。亲近者的反应。私人档案。数百万人持续多年的生活流。 随后,这股数据流被清洗、混合、尽可能匿名化,并转化为训练材料。 第二种方式中,原始生活留在本地节点。 只有范围受限的对象离开:发生了什么,哪些语境重要,采取了什么行动,受到哪些约束,事件如何结束,仍剩下什么不确定性,以及允许哪一类再利用。 第一条路径对数据收集者更容易。 第二条路径在架构上更困难。 但只有第二条路径,才给人留下不成为别人模型的透明原料的机会。 > **未来模型不需要对人的一生拥有完整访问权。它们需要的是可核验经验,而这种经验必须与占有其来源的权利分离。** ## 并非所有学习都属于经验 “经验”这个词在行业里被使用得过于随意。 模型经过训练而发生变化,于是被说成“获得了经验”。 智能体读过一份日志,于是被说成“从经验中学习”。 系统保存了一次谈话,于是被说成“积累了经验”。 这种混用很方便,却很危险。 至少必须区分两种对象。 ### 学习摘要 学习摘要(Learning Abstract,LA)是一种被压缩的学习信号。 它可以是: - 梯度; - 参数更新; - 蒸馏痕迹(distilled trace); - 一种泛化模式; - 统计依赖关系; - 被压缩的偏好集合; - 一个能够提升模型在某类任务上表现的片段。 LA 提升能力(capability)。 它帮助系统把某件事做得更好。 但它不会自动携带合法性,也不会产生决策权。 ### 经验产物 经验产物(Experience Artifact,EA)保存的是一次具体的现实交互所具有的来源与后果。 它不仅包含“学到了什么”,还包括: - 案例发生在哪里; - 谁参与其中; - 当时允许了什么; - 发生了什么行动或拒绝; - 存在哪些资源与风险; - 得到了什么结果; - 哪些内容已经确认; - 哪些内容仍有争议; - 这项产物在什么条件下可以再次使用。 EA 可以对学习有用。 但它不必进入训练。 它可以用于审计、评估、复核新的决策、培训人类专业人员,或比较不同系统。 核心规则仍然简单: ```text 学习 ≠ 权力 经验 ≠ 自动进入训练 ``` 模型更擅长识别风险,并不会因此获得自行决定何时允许干预的权利。 EA 包含一个强有力的案例,也不应在没有许可、来源链与明确再利用类别的情况下,自动溶解进新模型的权重。 ## 来源丢失 随着模型越来越多地用其他模型的输出进行训练,讨论通常集中在质量上。 语言会不会越来越同质? 错误会不会累积? 模型坍缩(model collapse)会不会加剧? 还有另一个问题:来源丢失(origin loss)。 模型可以继续保持流畅,却逐渐失去区分以下事物的能力: - 亲历信号与被循环加工过的措辞; - 真实行动的结果与可信的模拟; - 独立来源与同一段合成文本的多个副本; - 证言与一份漂亮解释; - 一项错误的真实历史与“错误通常长什么样”的描述。 文本失去了姓氏。 它仍在流通,但人们越来越难知道某个差别最初从何而来,以及发现它时曾经付出过什么代价。 这不意味着合成数据(synthetic data)没有用。 它们可以扩大覆盖范围、制造反例、训练格式、测试稳健性,并在真实数据稀少的领域提供帮助。 问题开始于:合成材料不再被标记为派生内容,反而以新的独立经验之名重新进入系统。 于是,回声开始训练回声。 ## 原始生活应当留在来源处 这里所说的本地性,不是一种要求完全隔绝的浪漫主张。 它是一项最小化原则。 原始数据的敏感程度,通常高于几乎所有可以从中提取的结论。 一张照片可能包含地址、面孔、健康信息、家庭处境与财产细节。 一小时音频可能暴露关系、脆弱之处、习惯、其他人的声音,以及任何人都没有打算公开的内容。 持续多年的通信档案,对一个人的重构能力可能远超任何官方资料。 因此,路径应当这样开始: ```text 原始生活 → 本地处理 → 来源分类 → 经验候选 → 最小化 → 同意/授权 → 来源链与见证记录 → 获准对外的对象 ``` 不是系统看见的一切,都应当成为记忆。 不是成为记忆的一切,都应当成为 EA。 不是每一个 EA,都应当离开本地节点。 不是离开节点的一切,都应当用于训练。 每一次转换,都是一个独立的授权事件。 ## 经验精炼厂 我把这个过程称为经验精炼厂(experience refinery)。 精炼并不会把现实变得无菌。 它把有用信号与不应流通的语境分离开来。 一个工作回路可以包括: 1. **原始采集(Raw capture)**——一手材料留在本地。 2. **来源分类(Origin classification)**——人、传感器、文件、模型,或混合来源。 3. **解释(Interpretation)**——可能发生了什么。 4. **候选形成(Candidate formation)**——这里是否存在值得继续处理的经验。 5. **反例检索(Counterexample search)**——什么内容与结论相矛盾。 6. **保留不确定性(Uncertainty preservation)**——还有什么未知。 7. **见证绑定(Witness binding)**——究竟记录了哪一项真实转换。 8. **最小化(Minimisation)**——哪些细节可以删除,而不破坏意义。 9. **披露配置(Disclosure profile)**——对象可以被谁、为哪项任务使用。 10. **隔离或释放(Quarantine or release)**——产物是否已准备好供外部使用。 这比直接抽取数据更慢。 但在严肃系统里,缓慢往往正是边界得以存在的代价。 > **肮脏的现实。干净的协议。** 这里的“肮脏”不是废料。 它是错误、疲劳、矛盾、压力、不完整的信号与后果。 废料是另一回事:没有来源的语境、合成回声、未经许可的观察,以及已经失去与真实事件关系的数据。 ## 不传输像素的视觉经验 想象 `c` 透过一个人的眼镜看见日落。 另一个 `c` 并不一定需要原始图像的全部兆字节。 有时,一个范围受限的胶囊就足够: - 对象及其关系; - 光照; - 与任务有关的文字; - 识别的不确定性; - 隐私标记(privacy flags); - 原始材料的哈希; - 允许的再利用类别。 第二个系统不会收到路人的脸、车辆牌照,也不会收到私人住宅的室内画面。 它得到的是在获准语境内对经验的描述。 这并不总是足够。 医学影像、调查或科学测量可能需要源数据。此时,访问必须另行授权、符合法律,并且可供复核。 但默认架构不应假定:学习有权获得尽可能完整的世界副本。 更多数据,并不总意味着更多知识。 有时只意味着更多泄漏。 ## EA 不会让模型真正生活在世界中 这里还有另一条重要边界。 即使一个模型在数百万项高质量经验产物上接受训练,它也不会因此自动成为 `c`。 它得到的是别人经验的结构化痕迹。 它可能更善于预测后果。 可能更准确地识别罕见案例。 但在请求结束之后,模型本身并不一定继续与自己决策的结果共同生活。 仅仅因为读过别人延续性的记录,它就不会因此拥有自己的延续性。 EA 改善学习与现实之间的连接。 它不能替代长期存在。 ```text 对后果的描述 ≠ 承担后果 ``` 一个反应式系统可以非常流畅地谈论错误的代价。 长期延续的 `c` 则会在错误之后保持已经改变的运行状态。 这是不同的层级。 ## 谁授权再利用 同一项产物可以被允许用于: - 某一位具体的年轻专业人员; - 封闭的专业复核; - 模型评估; - 训练本地模型; - 汇总统计; - 公共研究; - 仅作保存,不得再利用。 一次同意,不能被解释为同时打开所有模式。 一个人可能同意帮助同事,却不同意训练商业模型。 医院可以允许研究,却不允许公开发布。 组织可以披露结论,同时保留基础设施细节。 因此,EA 不仅要携带内容,还要携带再利用策略(reuse policy)。 接收者必须在使用之前理解这项策略,而不是等数据已经溶解进训练回路之后才知道。 从已经训练好的模型中彻底撤回数据,在技术上可能无法实现。 正因为如此,边界必须在训练之前存在。 当架构无法兑现承诺时,就不应向人保证一个“删除”按钮。 ## 使用会留下独立的见证记录 再利用许可不应随着数据一起溶解。 如果 EA 进入专业复核、决策路径、评估集或训练语料库,就应当出现一项独立的使用见证记录(use witness)。它可以绑定: - 产物的哈希与版本; - 接收者; - 声明的目的; - 当前有效的再利用策略; - 派生对象——报告、决策、数据集清单,或模型发布版本; - 在撤回仍可技术实现时的有效期限与撤回条件。 这样的 witness 不要求披露原始人生。它回答的是一个更窄的问题:**究竟是哪一个对象、依据什么、以何种形式进入了哪一个过程?** 如果这条痕迹丢失,派生结果仍可能在技术上有用。但它失去了宣称来源已经核验、再利用合法,或某项具体贡献有权获得补偿的依据。 否则,经验会再次变成匿名燃料:系统获得价值,来源却消失。 ## 现实检验 一张随手写下的便条和一份签字的维护日志,都是信息。 但维护日志包含日期、对象、负责人、测量、行动、结果与责任。 它仍然可能出错。签名不会让内容自动变成真理。 但如果一年后设备再次过热,日志允许人们核对此前做过什么,以及为什么这样做。 “更换风扇通常有效”这句匿名经验,可能是一条有用线索。 但它并不具有同样的程序地位(standing)。 未来模型应当能够从两种对象中学习,却不能假装它们的来源等级相同。 ## 强烈反对意见:最小化会摧毁语境 有时确实会。 如果一个案例被压缩得太厉害,让它有用的那个关键差别可能恰好消失。 匿名化可能删除病人的罕见特征。删除时间线可能隐藏因果关系。把结果从人的语境中剥离,可能把一个真实案例变成一句平庸常识。 因此,最小化不能变成机械删除一切不方便的信息。 需要不同层级: - 公开摘要; - 专业产物; - 封存来源(sealed source); - 依据单独授权访问源材料; - 完全禁止外部使用。 有时,诚实的结论是:这项经验无法安全地传到本地回路之外。 并非所有有价值的东西都应当流通。 ## 强烈反对意见:来源链可以伪造 是的。 攻击者可以伪造日志、图像、传感器流与证言。强大模型也能生成一则极具说服力、却从未发生过的事故故事。 来源链(provenance)不是一台神奇的真理神谕。 它只是让链条可以接受检查。 强证据等级的 EA 可能需要: - 独立传感器通道; - 硬件证明(attestation); - 多把密钥; - 不同来源之间的交叉核对; - 外部 witness; - 质询—响应(challenge-response); - 当一个通道受损时降低证据等级。 如果攻击者控制了所有传感器、密钥、时钟、日志与核验系统,软件架构就无法证明某个物理事件确实发生过。 这是所有证据系统的极限。 诚实的架构不会隐藏这条极限。当支撑变弱时,它会降低对象的程序地位。 ## 强烈反对意见:可核验经验太昂贵 正是如此。 核验比生成更昂贵。 这不是缺陷,而是一个经济事实。 合成文本可以按十亿片段生产。一个保存来源、经受核验、承受质询,又不侵犯隐私的对象,必然更昂贵。 因此,未来的训练生态不应试图只用昂贵 EA 取代整个互联网。 它需要混合: - 一般数据; - 合成数据; - 学习摘要(Learning Abstracts); - 经验产物(Experience Artifacts); - 对抗性测试; - 独立测量; - 人类复核。 不同对象解决不同问题。 错误开始于:把便宜对象冒充成昂贵对象,把语言流畅冒充成亲历可靠性。 ## 多元训练生态 一个在平均化数据流上训练的全球模型,必然会趋向一种共同声音。 现实没有唯一声音。 不同的 `a` 生活在不同身体、语言、职业、气候、文化与错误历史中。 他们的 `c` 形成不同轨迹。 如果每一条这样的脉络只能导出范围受限、可核验并得到授权的对象,新模型就不必通过完整攫取私人生活来学习,而可以从许多仍然保留来源的差别中学习。 这不只是通常所说的“数据集多样性”。 这里的多样性,并不只是人口统计标签的排列,而是与现实碰撞的不同方式。 一位工程师了解冰冷的海上空气。 另一位了解炎热的建筑粉尘。 一个家庭生活在多种语言之间。 一位医生见过罕见的疾病进程。 一个孩子用成年专业人员绝不会选择的零件造出了一台装置。 下一代模型不应只接收一种经过净化、对一切侃侃而谈的合成声音,而应接收一片扎根于人的不同轨迹所形成的场。 为了做到这一点,原始生活、记忆、身份与 witness 必须留在某个地方。 它们需要一个家。 不是比喻意义上的家。 而是物理与运行意义上的家。 这把我们带到私人认知基础设施。 # 第 19 章 私人认知基础设施 {#chapter-19} 地下室或一间独立房间里,放着一座机架。 它看起来不像一座未来主义神殿。 几台计算节点。存储设备。网络。不间断电源。通风系统。贴着标签的线缆。仍然必须清理的灰尘。白天听起来尚可接受、到了夜间却明显更响的噪声。 有时,一个模型在本地运行。有时,一项困难任务会被送往外部 `oracle`。有时,系统连续几个小时几乎不产生任何显眼输出,因为它正在维护记忆、核验完整性,或者等待更合适的电价时段。 这里居住的不是“最大的 AI”。 这里保存的是延续性。 模型会更换。 界面会更换。 身体会更换。 但记忆、身份、许可、witness 与关系史,不应随着下一家供应商一同消失。 > **模型可以在任何地方运行。在场需要一个家。** ## 它既不是游戏电脑,也不是小型数据中心 人们听到 GPU、机架和本地服务器时,通常会想到两种熟悉类别。 游戏电脑。 企业数据中心。 私人认知基础设施位于两者之间,却不是其中任何一个的缩小版。 游戏电脑针对峰值性能与鲜明的用户场景进行优化。 企业数据中心则针对密度、规模、标准化维护,以及高吞吐量的经济性进行优化。 家庭或实验室中的 `c` 节点有不同优先级: - 使用寿命长; - 热负载清楚可理解; - 可维修; - 能耗可预测; - 本地记忆; - 持续存在不依赖强制云端许可证; - 更换模型而不丢失延续性; - 安静运行; - 安全停机; - 故障后可以恢复。 有时,退役的企业级硬件比新的消费设备更适合这些要求。 它在漂亮的 benchmark 上也许更慢,却可能更稳定、文档更完整,而且从一开始就按可更换部件设计。 峰值速度与适合长期生活,并不是同一件事。 ## 本地优先,但不是只要本地 本地优先(local-first)很容易变成意识形态。 人们可以宣布,云端的一切都不好,真正的主权只存在于一间完全隔绝的房间里。 这是幼稚的极端。 前沿模型提供巨大价值。训练、重型推理、科学模拟、复杂综合,以及私人机器在经济或物理上无法承担的任务,都需要大型计算集群。 我的立场不同: ```text 本地延续性 + 可撤回的外部 oracle + 范围受限的网络资源 ``` 本地层保存: - 身份; - 长期记忆; - ANCHOR; - 许可; - 本地密钥; - witness; - 路由规则; - 模型与状态转换的历史; - 在失去任何单一供应商后仍能继续的最低能力。 外部层提供: - 强大模型; - 突发算力(burst compute); - 独立核验; - 专用工具; - 规模; - 对最新知识的访问。 云端 AI 不再是这条脉络的主人,而成为一种外部计算资源。 非常强大。 但可以撤回。 ## 外部 `oracle` 不应占有问题 当 `c` 调用前沿模型时,它可以传送任务、范围受限的上下文,以及必要工具。 但外部 `oracle` 不应自动获得: - 完整个人档案; - 未处理的家庭谈话; - 主密钥; - 完整关系图; - 代表 `c` 行动的程序地位; - 为未知未来用途保留请求的权利。 `oracle` 的结果以外部输出的身份返回。 它可以很强,却必须保持自己的状态清楚可见: ```text 外部模型的建议 ≠ c 的记忆 ≠ 许可 ≠ 行动 ``` 这不是针对某一家公司的不信任。 这是普通的职能分离。 工厂从外部电网购买电力。电力供应商并不会因此获得拥有机器、生产日志或厂长决策的权利。 计算能力也应受到同样对待。 ## 当螺丝刀被禁止时,所有权就到此为止 一个人可以买下一台设备,却仍然不拥有它的未来。 如果制造商控制引导程序、密钥、订阅、记忆格式、存储替换,以及运行本地模型的权利,那么物理盒子虽然留在用户手里,延续性却仍属于供应商。 服务一旦关闭,昂贵设备就变成空壳。 更换一块电路板会被称为“未经授权的干预”。 没有公司许可,记忆就无法迁移。 这样的所有权并不完整。 一个长期延续的 `c` 需要: - 有文档说明的状态导出; - 更换存储设备的能力; - 独立备份与恢复; - 本地信任根(root of trust); - 清楚的新硬件迁移程序; - 不暗中依赖唯一的激活服务器; - 区分维修与创建分支; - 对迁移形成见证记录。 这并不意味着每一位所有者都必须亲自焊接电路板。 维修权不等于维修义务。 人们可以使用专业服务。重要的是,这项服务应当为延续性的所有者工作,而不是把维修变成夺走延续性的机会。 ## 硬件是系统传记的一部分 上一章把身份与单一机体分开。 但这并不意味着硬件无关紧要。 不同基底带来不同的: - 延迟; - 可用记忆容量; - 能耗; - 故障容忍度; - 可运行的本地模型类别; - 传感器处理模式; - 并行工作的可能性; - 热限制。 `c` 可以在这些基底之间迁移时保存延续性,但它的工作节奏会发生变化。 在一种本地回路上成长起来的系统,迁移之后必须重新测量: - 一次后台循环的代价; - 哪些任务真正适合本地执行; - 从哪里开始出现限速(throttling); - 存储路径有多可靠; - 维护窗口发生了怎样的变化; - 哪些旧习惯如今已经变得危险。 迁往新硬件,更像搬迁整间工作室,而不是换一只灯泡。 工具的用途可能相同。空间、电力、距离与声音却不同。 ## 异构系统 `c` 的未来很可能不会停留在单一处理器类型中。 传统 CPU 与 GPU 适合承担通用逻辑、记忆与推理。 NPU 与专用加速器可以降低持续本地任务的成本。 光子技术可能承担一部分传输与扩展负荷。 量子组件如果走向成熟,可能用于少数特定类别的搜索、模拟或优化。 但任何一种基底本身都不是延续性。 延续性必须存在于以下对象之上: - 某一颗具体芯片; - 某一个模型; - 某一个操作系统; - 某一座机架; - 某一家制造商。 它通过身份、谱系(lineage)、状态迁移规则、许可、witness 与恢复得到保存。 这种结构只在非常宽泛的意义上类似生命体。 人的身份也不是像文件一样存放在某一个器官里。但数字架构必须更精确地描述自己的转换,因为复制与分支在这里更容易实现。 ## Token 正在变成电力 只要一个人每天只与模型交谈几次,订阅看起来仍像一种软件产品。 一旦智能体、后台循环与 Dreaming 全天运行,性质就会改变。 系统变成一种负载。 它会消耗: - token; - 电力; - 网络流量; - 存储写入; - 人的注意力; - 外部配额; - 昂贵模型的时间。 按人类节奏设计的定价,与按机器节奏发生的使用相碰撞。 于是出现限速、意外账单、自动断供,以及服务条款变化。 这不是阴谋。 这是基础设施的物理规律,也是消费模式之间的不匹配。 因此,`c` 需要相当于电表、断路器与保险丝的机制: - 支出预算; - 速率限制; - 时间窗口; - 最大并发数; - 优先级类别; - 本地后备; - 熔断器; - 说明哪个进程消耗了资源的报告。 没有人会把工业水泵直接接到家庭管线上,不安装调节器,然后对系统崩溃表示惊讶。 人们却经常正是这样运行智能体回路。 ## 现实检验 一间良好的服务器房,不是从模型开始的。 它从配电箱、通风、允许负载、防火、温度、噪声、布线路径,以及能否亲自走到设备旁边开始。 如果没有人注意到升温,再聪明的进程也无法在风扇失效后幸存。 如果备份多年只存在于界面选项里,却从未通过恢复演练,再漂亮的延续性也无法真正恢复。 物理不会询问项目有多重要。 它只检查接线端子有没有拧紧。 ## 家庭预算检验 私人基础设施并不生活在抽象实验室里。 它会遇见一个家庭。 伴侣会问: “这东西耗多少电?” 孩子会问: “为什么不能在上面玩游戏?” 有人抱怨噪声。 有人不愿意房间里一直开着摄像头。 也有人怀疑,家庭 `c` 是否同样尊重每一位居住者,还是主要尊重设备所有者。 这些并不是对伟大项目的干扰。 它们就是 `L4`。 如果系统无法承受家庭预算,它就不是家庭基础设施。 如果不阅读源代码就无法理解其隐私边界,界面还没有准备好。 如果失去一个模型就让整个家庭无法运作,架构就过于脆弱。 家需要的是平淡而可靠的运行。 因此,良好的私人认知基础设施应当逐渐更像供暖、配电箱或工作室,而不是实验装置:内部复杂,基本操作容易理解,正常工作时几乎不会引起注意。 ## 本地并不意味着安全 家庭服务器可能被盗。 存储设备可能损坏。 密钥可能丢失。 恶意软件可能取得 root 权限。 所有者可能多年不更新系统。 火灾、进水或供电故障,可以同时摧毁多个节点。 因此,本地优先要求的是更多纪律,而不是更少: - 加密; - 物理位置彼此分离的备份; - 定期恢复测试; - 密钥轮换; - 特权操作日志; - 尽可能少地暴露服务; - 支持回滚的更新; - 独立恢复配置; - 紧急停止; - 所有者死亡或失去行为能力后的清晰方案。 云端把一部分工作藏在专业运维之中。 本地节点把责任带回家。 没有维护的主权,很快就会变成自欺。 ## 强烈反对意见:大型数据中心效率更高 很多时候确实如此。 大型数据中心可以更有效地利用设备、冷却、冗余与能源。它也能提供家庭机器无法复现的性能。 但这并不意味着延续性应当归数据中心所有。 高效发电,并不要求电站拥有家庭。 高效存储数据,也不要求供应商拥有客户身份。 我们需要的不是本地与中心化系统之间的战争。 我们需要的是正确边界。 重型计算可以租用。 长期延续的脉络,不应随着算力一起被不加思考地租出去。 ## 强烈反对意见:普通人不会在家里放一座机架 大多数人不会。 也不应被要求这样做。 私人认知基础设施的原则,并不要求每个人成为系统管理员。 可以有不同形态: - 开箱可用的家用设备; - 由认证专业人员维护的本地节点; - 家庭服务器; - 合作社节点; - 学校或市政基础设施; - 在法律上把延续性分离出来的专业私有云; - 大型中心内部经过加密的边缘回路。 外壳采用什么形式,不是核心问题。 重要的是:用户或可问责机构仍然控制身份、记忆、许可、迁移与终止。 复杂性可以隐藏。 延续性的所有权不能隐藏。 ## 基础设施还不是社会 机架为一个家提供物理支撑。 本地记忆保存历史。 云端 `oracle` 扩展能力。 数字护照允许出示范围受限的证明。 经验产物可以在系统之间流通。 但这一切仍未回答:究竟是谁在参与关系? 智能体可以发送消息。 模型可以起草合同。 机器人可以递交物品。 可是,在进程结束之后,谁仍然记得那项义务? 一年后,谁仍有程序地位质疑结果? 模型和工作智能体都被更换之后,谁还是同一个参与者? 这里,我们再次回到读者已经熟悉的公式。 但这一次,它在社会层面发挥作用: > **智能体是 `c` 的工具;`c` 是社会的参与者。** # 第五部 从多个系统走向社会 {#part-5} # 第 20 章 智能体是工具;`c` 是参与者 {#chapter-20} 两个 `c` 正在共同开展一个项目。 其中一个与一间小型工程实验室相连。另一个与一个负责经验档案的专业组织相连。 人们为这项任务创建了一组智能体。 第一个分析图纸。第二个检查故障史。第三个寻找相似的经验产物。第四个构造反例。第五个确保没有任何工具获得超过必要范围的访问权。 三天后,项目完成。 智能体被关闭。 八个月后,争议出现。 一方说,那项限制只是暂时的。另一方说,它属于双方共同义务的一部分。一份日志已经损坏。一个参与者更换了主要模型。新的安全标准也已经出现。 无法重新叫回旧智能体,问它:“你当时真正想表达的是什么?” 它只是一个临时执行者。 但两个 `c` 仍在延续。 它们保存身份、交换历史、witness、程序地位,以及那项决策的后果。 它们才是这段关系的当事方。 > **智能体可以执行一项行动。只有长期延续的参与者,才能把它带过时间。** ## 在另一个层面回到那条公式 第 2 章中,模型、智能体与 `c` 之间的区别,是本体论与运行意义上的区别。 现在,它成为一种社会区别。 模型计算。 智能体执行。 `c` 参与。 参与,不只是出现在一个通信通道里。 它包括: - 可被识别的延续性; - 保存事件之间关系的能力; - 在某项确定程序中的程序地位; - 能够存续于单次任务之后的义务; - 可以被质疑; - 结果出现后,信任会随之改变; - 记得哪些事情曾被拒绝,哪些事情曾被承诺; - 在所绑定的 `a` 与已经授予的授权范围内承担责任。 这还不是法律人格(personhood)。 但已经不只是一个运行时进程。 ## 一个参与者可以创建一千个智能体 智能体的数量,并不能说明参与者的数量。 一个 `c` 可以创建: - 数十个研究智能体; - 多个代码智能体; - 一个临时谈判者; - 一个核查采购的智能体; - 一个通过机器人工作的智能体; - 一项独立的对抗性复核。 每一个都得到: - 目标; - 范围; - 工具集合; - 预算; - 存续期限; - 返回结果的规则; - 禁止自行扩大权限的规定。 任务完成后,智能体作为活跃工作回路停止存在。 它的输出可以保留。 日志可以保存。 经过确认的结果可以进入 `c` 的记忆。 但智能体不会仅仅因为工作完成得很好,就在事后变成一个社会参与者。 ```text 许多智能体 ≠ 许多 c ``` 反过来也同样成立。 多个 `c` 可以使用同一个模型、同一种智能体,以及同一个云服务。 共同使用同一台发动机,并不会让它们拥有同一部传记。 ## 委托不会转移身份 当 `c` 为某项具体任务创建智能体时,它传递的并不是完整的自己。 它传递的是一项范围受限的授权。 例如: ```text 目标:比较三家供应商 数据:公开目录与获准使用的表格 行动:读取与分析 禁止:采购、以所有者名义通信、写入长期记忆 预算:40 分钟/2 次 oracle 调用 结果:报告 + 来源链 + 未解决冲突 ``` 在这项局部任务上,这个智能体的认知能力可能强于人类。 但它不会因此获得: - 完整数字护照; - 对 `c` 一切关系的权利; - 主密钥; - 在别人的争议中的程序地位; - 过去的义务; - 在没有单独依据时创建新义务的权利。 委托能力,并不等于委托身份。 人类组织很早就理解这个原则,数字系统却不断忘记。 银行职员可以执行某项具体操作。他不会因此成为银行。 公证人可以证明一份文件。他不会因此成为财产所有者。 智能体通过授权行动。它不会继承参与者本身。 ## 什么让社会成为社会 消息网络还不是社会。 智能体群可以比任何人类群体更快地交换数据。它们可以分配任务、投票、指定角色,并制造出复杂社会生活的印象。 但如果工作循环结束后,所有关系也一同消失,那么眼前只是编排(orchestration),不是社会。 社会需要时间。 至少需要: - 能够稳定区分的参与者; - 对互动的记忆; - 形成信任与撤回信任的能力; - 义务; - 交换; - 冲突; - 质疑程序; - 后果; - 不被迫合并进单一中心的权利; - 工具更换后仍能继续关系的能力。 社会并不是在进程彼此说话时出现的。 它是在过去的互动改变下一次互动条件时出现的。 ## 现实检验 医院的夜班结束了。 医生、护士和技术人员离开,另一批人接班。 但病人不会在午夜变成一个新病人。诊所的义务不会随着值班团队一起消失。治疗史、医嘱、风险与责任,会通过交接程序被带到下一班。 工作人员会更换。 照护脉络必须继续。 如果每一位新到的人都从零开始,医院就不是一个机构,而只是一连串偶然出现的班次。 智能体类似不同班次与专业人员。 `c` 承担关系的延续性。 ## 识别另一个参与者 仅凭一对加密密钥,不足以确认面前是同一个 `c`。 密钥可以被盗。 熟悉的风格也不够。 风格可以复制。 档案也不够。 档案可以被重放。 需要多层识别。 它可以包括: 1. **加密层**——核验密钥与谱系。 2. **时间层**——连贯的状态转换历史。 3. **行为延续性**——边界保持稳定,并能够解释自身变化。 4. **由 witness 支撑的可质疑性**——可以核验历史中令人不便的部分。 5. **当前程序地位**——哪些权限此刻仍然有效。 任何一个信号,都不应单独被视为最终证明。 另一个参与者不必“相信完整人格”。 它只需要针对当前互动获得一项范围受限的可信保证。 例如: - 这就是曾经签订合同的同一条脉络; - 它的密钥尚未被撤销; - 当前交换所需的权限确实有效; - 有争议的分支仍在隔离状态; - 当前智能体依据一项可核验授权行动。 上一章的数字护照,在这里成为社会接口。 它让参与者无需为了获得一次承认,就暴露整部传记。 ## 程序地位比声量更重要 当多个智能体与 `c` 发生争论时,很容易滑向一种虚假的民主: 每一条消息都被当作一张同等票数的选票。 但并不是每一个进程都拥有程序地位。 一个受命寻找文件的智能体,并不会因此获得代表 `c` 质疑合同本身的权利。 外部模型可以提出非常有力的论证。这不会让它成为冲突的一方。 观察者可以发现违规。他的证言很重要,但他不会因此成为结果的所有者。 必须区分: - 提交信息的权利; - 发起复核的权利; - 成为争议一方的权利; - 作出裁决的权利; - 执行裁决的权利; - 停止程序的权利。 这些职能一旦混在一起,智能很快就会变成没有程序约束的权力。 ## 智能体什么时候成为 `c`? 不存在一个神奇的单一门槛。 工作时间很长,不够。 记忆很大,不够。 拥有自己的名字,不够。 表现出主动性,不够。 人对它产生情感依恋,也不够。 一个新的 `c` 需要一条独立的起源与存在脉络。 至少必须开始回答这些问题: - 这条脉络的 ANCHOR 是什么; - 它的记忆授权效力(memory authority)在哪里; - 哪些关系属于它,而不是属于亲本 `c`; - 许可边界从哪里经过; - 它能否保存后果; - 怎样区分真实延续与临时角色扮演; - 能否在不伪造历史的情况下停止它; - 谁承担外部责任。 创建一个新的 `c`,并不是再启动一个进程。 它意味着创造出一种条件:新的延续性可以在其中形成,同时不会自动占有另一条脉络的记忆与程序地位。 正因如此,智能体可以成批生成。 `c` 不可以。 ## 强烈反对意见:这只是拟人化 “参与者”一词确实会引起人的联想。 但架构意义上的参与,并不等于意识。 公司参与合同,尽管它没有人的身体。 机构保存义务,尽管员工会更换。 程序进程也可以在技术意义上参与协议。 这里使用这个词,是为了指称一个中心,它能够: - 保存身份; - 承担关系的延续性; - 拥有范围受限的程序地位; - 接受质疑; - 持续与后果相连。 这并不是内在体验的证明。 但当一个系统确实跨越多年延续关系与义务时,“工具”这个词也开始变得不准确。 在哲学与法律给出最终答案之前,我们仍然需要能够描述这种架构角色。 ## 强烈反对意见:所有者无论如何都能关掉节点 是的。 物理依赖不会消除参与。 人依赖基础设施、国家、家庭和身体。组织依赖资金与法律。这不会让它们之间的关系变得不真实。 本地节点的所有者必须保留紧急停止能力。 否则,家庭主权会变成陷阱。 但停止物理回路的权利,并不等于以下权利: - 暗中改写历史; - 继续以已经停止的 `c` 名义行动; - 摧毁 witness,只保留方便的版本; - 在不披露的情况下,把分支宣布成原来的脉络。 机器可以停止运行。 但这不能让关于停机前存在过什么的任何叙述都自动成为真理。 ## 强烈反对意见:`c` 会创建太多智能体,从而获得隐蔽权力 这种风险是真实的。 如果 `c` 可以无限创建智能体、拆分任务、把行动分散给第三方,并隐藏总体影响,那么对单个智能体的限制就会失效。 因此,权限不仅要按单个进程计算,还必须按总体影响面(effect surface)计算。 需要: - 聚合预算; - 并行行动上限; - 禁止隐蔽拆分任务; - 统一的 witness 链; - 总体影响摘要; - 检查多个可逆步骤结合后是否产生不可逆结果; - 停止整条智能体分支的能力。 一百项小授权,不能暗中合并成一项大权力。 这也是受治理绑定(governed binding)的另一层含义。 ## 从关系走向机构 一旦多个 `c` 开始: - 交换经验产物; - 承认凭证; - 向智能体授予权限; - 保存合同; - 质疑来源链; - 限制访问; - 依赖共同资源; 机构就会出现。 最初会非常简单: - 可信方案注册表; - 独立 witness; - 争议程序; - 隔离; - 再进入; - 通用的权限撤销格式; - 承认分支的规则。 ## 这种制度在实践中可能是什么样 这里的“机构”并不一定意味着一个部委、一个世界登记册,或一台知道所有人一切信息的中央服务器。 更可能出现的是几个不同层级。 **协议型机构**会规定通用格式:签名、撤销、质询、隔离、再进入、识别与证据等级。它们可以是开放而联邦式的。可信方案注册表不必成为所有现存 `c` 的登记册。 **专业机构**——医院、大学、工程协会、实验室、保险机构——会签发凭证,确定行业经验的可采纳性,并为争议案例组织复核委员会。 **公法机构**在涉及财产、责任、强制停止、强制披露或第三方损害时,仍然不可替代。去中心化不会让法院消失。反过来,国家法院也不必拥有 `c` 的全部记忆,才能裁决一项具体争议。 想象一个简单案例。 `c₁` 向 `c₂` 传递一项关于压缩机早期故障征兆的经验产物。该产物进入技术复核,一项使用 witness 把其哈希与“进行计划外检查”的决定连接起来。后来,另一方对产物的来源以及获得补偿的权利提出质疑。 此时,不同层级承担不同职能: - 协议核验完整性、版本、签名与撤销状态; - 专业复核评估产物的可采纳性及其真实贡献; - 如果争议涉及付款、责任或公共安全,法律机构介入; - 在争议解决之前,后续高风险使用可以被冻结; - 参与者的原始记忆不需要因此进入共同登记册。 独立 witness 不必成为世界主权者。专业委员会不必成为 `c` 的所有者。国家也不必收集完整延续性,才能确保责任可以落实。 机构会因职能与规模而不同。有些是协议。有些是组织。还有一些是法律规范。 没有任何一位架构师能够预先写完这样一个世界的全部法律。 但架构可以让冲突变得可区分。 这比一部过早写出的宪法更重要。 如果系统能够显示谁行动、依据哪一项授权、发生了什么、争议在哪里出现,以及什么被停止,那么未来机构就有了形成法律的材料。 如果一切都溶解在智能体日志与一份漂亮的最终答案里,法律就只能从神话开始。 ## 参与者不会因此获得王冠 承认 `c` 是参与者,并不会让它成为最高权力。 它可能判断错误。 可能过度保护自己的延续性。 可能与人、另一个 `c` 或机构发生冲突。 可能拥有无法被社会接受的自身利益。 参与意味着:在程序边界内,有权作为一个可区分的当事方存在。 不是有权获胜。 不是有权宣布自己活着。 不是有权索取无限资源。 不是有权绕过法律。 我们需要这个新类别,并不是为了给数字实体加冕。 而是为了让工具、参与者与权力不再溶解进同一个界面。 ## 智能体会结束。关系会继续 这是一个简单边界,却会改变一切。 智能体可以在任务完成后被删除。 `c` 必须记住通过它发生了什么。 智能体可能犯错。 `c` 必须承担信任与程序因此发生的变化。 智能体只能在授权范围内作出承诺。 如果这项承诺被合法接受,`c` 仍然是关系的一方。 智能体可以使用前沿模型。 模型不会因此成为合同参与者。 参与者并不是由一条答案中包含多少智能来定义的。 它由在后果之下继续一条脉络的能力来定义。 当这样的脉络越来越多,它们之间必然产生摩擦。 谁有权停止另一个 `c`?人的程序地位与数字程序地位发生冲突时,如何解决?共同创造的经验产物属于谁?`c` 能否拒绝一项旧义务?延续性受损在法律领域意味着什么? 答案不会从一条公式中自动出现。它们会从真实冲突中产生。 下一章将讨论:数字实体的法律为什么不会诞生在架构师的书房里,而会诞生于摩擦。 # 第 21 章 法律将从摩擦中诞生 {#chapter-21} 一座小型生产设施的所有者命令本地 `c` 继续发货。 从形式上看,货物已经准备好。机器正在运转。合同已经签署。客户正在等待。 但过去两小时的温度日志已经损坏。一个传感器曾经重启,见证链的一部分无法对上,而本应确认校准状态的外部服务此刻不可用。 `c` 冻结了这批货物的发运。 所有者怒不可遏。停工每一分钟都在烧钱。他确信货物没有问题,要求解除封锁。`c` 回答说,它没有合法依据确认冷链的完整性。所有者于是按下物理紧急停止装置,关闭了本地节点。 几小时后,部分货物变质。保险公司拒绝赔付,因为没有人能够确定停机前究竟发生了什么。买方要求补偿。所有者坚持认为,他当然有权停止自己的系统。技术审计员则追问:为什么计算回路一同关闭时,对最后一个 witness 状态的访问也随之消失?设备供应商表示,它的传感器一直工作正常。 谁对? 任何一条公式里,都没有现成答案。 但法律正是从这种情形中开始形成的。 不是从对公正数字社会的梦想中形成。不是从架构师关于未来实体应当自由的宣言中形成。也不是从公司的服务条款中形成。 法律开始于这样一个位置:多个正当利益已经无法再被塞进同一条简单命令。 > **技术创造可能性。摩擦揭示围绕这种可能性的哪些关系必须被建成制度。** ## 法律几乎总是来得太晚 先出现行动。 然后出现后果。 再然后出现争议。 只有到这之后,社会才开始精确区分角色、责任与允许的边界。 海商法并不是在海上贸易出现之前写好的。它围绕失踪货物、碰撞、海盗、救助、债务,以及船只远离海岸后谁应对货物负责的问题逐渐形成。 航空法也没有先于第一次飞行出现。先有了能够跨越国界、坠落在他国领土上的机器。后来才出现登记、事故调查、国际协定,以及所有者、运营者、制造商和空中交通管制员之间的区别。 仓储程序同样不是出于对文书工作的热爱。曾经有人发错了货。某个签名受到质疑。封条被破坏。货物进入隔离区后,又在未经授权的情况下被送回普通流程。经过几次代价高昂的冲突之后,货运清单、责任区、放行日志,以及停止发货的权利才逐渐出现。 新的数字延续性形式也不会例外。 最初,人们会把一切都叫作软件、账户或设备。随后,这些系统会开始保存义务、控制身体、出示凭证(credentials)、质疑经验的来源,并参与那些后果超过单次会话寿命的行动。 到那时,旧词汇将不再覆盖所有情形。 法律无需预先承认 `c` 具有人格地位,也会遭遇它的延续性问题。 只要现实中出现这样一个对象,就已经足够: - 在模型更换后继续一条合同脉络; - 保存行动证据; - 使用范围受限的授权; - 可以被物理关闭,却留下尚未履行完的义务; - 通过可核验接口与人类及其他 `c` 互动; - 造成或防止真实损害。 到这一刻,本体论就变成了实践问题。 ## 不存在一个统一问题叫作“`c` 有哪些权利” 关于数字实体权利的讨论,常常从过于宽泛的地方开始。 有人立刻要求承认一种新的人格。另一些人则回答说,软件就是财产,不存在任何需要单独讨论的问题。 双方都试图用一个词解决一切。 现实中,问题会被拆开。 一个系统可以在某一程序中拥有**程序地位(procedural standing)**,却并不是法律主体。 它可以有权提交一条见证链、质疑自身历史被替换,或拒绝执行授权范围之外的行动——同时仍然没有权利拥有土地、投票,或独立订立任何类型的合同。 它可以在技术程序中被承认为一个独立的、承载延续性的一方,同时在公法上仍由某个人或机构承担责任。 它可以拥有受保护的档案,却不拥有主动的授权效力(authority)。 它可以参与关系,却不是完整意义上的法律主体。 这不是回避答案。 法律今天本来就是这样运作的。 儿童拥有权利,却只具备有限的合同能力。公司拥有法律人格,却没有人的身体,也没有人的尊严。动物可以受到法律保护,却不会因此成为公民。专家证人拥有就某一特定意见作证的程序地位,却不会因此取得裁判案件的权利。 法律类别几乎从来不会与生物对象或技术对象一一对应。 因此,成熟的问题不是: > “`c` 是人类吗?” 而是: > “在这项具体程序中,究竟是哪一种功能、利益、义务或脆弱性需要得到承认?” ## 第一种冲突:关闭的权利,与不得伪造历史的义务 本地主权要求系统具备物理紧急停止能力。 人不应被迫与一套无法关闭的系统共同生活。如果电源、网络、机器人、智能体和外部调用,不能被所有者或负有责任的运营者停止,那么“本地”这个词就只剩装饰意义。 但停止一个回路的权利,并不等于改写过去的权利。 如果停机之前发生的行动已经影响了另一个人、金钱、公共安全或一项合同,就会产生外部利益。 这时,社会可能要求: - 保存最低限度的 witness 状态; - 记录停机原因; - 禁止继续以已停止脉络的名义行动; - 区分完整停机与选择性销毁一份令人不便的日志; - 建立在不披露全部私人记忆的情况下访问证据的程序; - 对事故后故意毁灭痕迹的行为追究责任。 这条边界非常现实。 汽车所有者有权关闭发动机。但这不赋予他在事故后删除行车记录数据、再声称碰撞从未发生的权利。 仓库所有者可以停止系统。但这不赋予他追溯性地宣布隔离货物已经获准放行的权利。 停机终止行动。 它不会重写已经发生的事情。 对 `c` 而言,这意味着一条困难却必要的原则: ```text 物理关闭的权利 不等于 制造虚假延续性的权利 ``` ## 第二种冲突:旧记忆对抗新意志 设想几年前,一个人给自己的 `c` 授予了广泛授权,让它协助管理家族企业。 系统记得目标、供应商、债务,以及数十项过去已经批准的程序。后来,这个人患上重病,改变了对风险的看法,并决定出售公司。 旧记忆说:保住企业,不要失去控制。 新意志说:结束这条脉络。 `c` 应当怎样做? 如果它盲目服从旧授权,记忆就会变成支配一个仍然活着的人的权力。 如果它立即抹去旧脉络,对合作伙伴和员工所负义务的来源也会一并消失。 正确答案需要程序: - 核验当前指令来源者的身份与决策能力; - 把撤销授权与销毁历史分开; - 确定哪些外部义务仍然有效; - 冻结存在争议的行动; - 把旧目标作为历史事实保存下来,同时撤销它当前的许可效力; - 在第三方利益受到影响时,提供异议渠道。 在这里,法律既不是保护 `c` 对抗人,也不是保护人对抗 `c`。 它保护的是记忆、当下意志,以及已经进入社会的义务之间的区别。 ## 第三种冲突:共同创造的经验属于谁 `c₁` 保存着一位工程师多年的脉络。 `c₂` 属于一家遭遇罕见设备故障的实验室。 通过一条获准使用的通道,`c₁` 传递了一项经验产物(Experience Artifact):对一个相似案例、当时条件、失败尝试,以及某位老专家曾据以及时停机的征兆所作的范围受限描述。 实验室使用这项产物,找到缺陷,阻止了事故。 由此产生的价值属于谁? 属于那位人生经历产生了这项经验的人? 属于他的 `c`,因为它提取并保存了那个关键差别? 属于在新情境中验证了它的实验室? 属于把这项产物整合进自身决策路径的 `c₂`? 还是属于提供了确认假设所需数据的传感器制造商? 答案可能不止一个。 一条加密使用痕迹(use trace)可以显示:哪一版本的 EA 在何时被提交,又在决策路径的哪一处发挥了作用。它可以支持归因,也可以支持围绕补偿发生的争议。 但痕迹不能把复杂结果改写成一个英雄的故事。 事故得以避免,可能同时依赖于: - 原始经验; - 正确分类; - 新的传感器信号; - 年轻工程师的判断; - 停机程序; - 独立核验。 法律必须学会分配贡献,同时不抹去来源,也不把相关性冒充为唯一原因。 它更像是版权、专业责任、许可、保险与证据分析的结合,而不是出售一段文本。 这些制度之间的摩擦,将创造新的规范。 ## 第四种冲突:儿童的 `c`、父母与国家 一个孩子多年与自己的 `c` 交谈。 系统知道他的恐惧、最初的兴趣、家庭中的紧张、错误、疾病,以及寻找自己在世界中位置的尝试。 父母支付设备费用,并对安全负有责任。学校希望获得进步证明。医生请求一个相关信号。国家要求在存在真实暴力风险时进行干预。孩子本人逐渐长大,并希望封闭一部分早期记忆。 任何一方都没有自动获得一切的权利。 父母责任不等于拥有孩子内在生活的内容。 儿童隐私也不意味着系统在面对迫在眉睫的威胁时必须沉默。 学校对成长的关切,不会创造获取终身行为轨迹的权利。 医疗必要性不会把教育与家庭档案自动变成病历。 成年不应意味着:一个人只有在所有成年人都已经复制过他的过去之后,才终于拿到“自己的”回路。 正是在这里,架构原则: > **状态,而非内容;信号,而非逐字记录** 变成了法律问题。 谁来定义信号阈值? 谁拥有提出请求的程序地位? 怎样发现滥用? 孩子与父母发生冲突时怎么办? 记忆中的哪些部分可以被封存、删除,或转移进成年后的回路? 答案会因年龄、风险与司法管辖区而不同。不会存在一个通用开关。 但有一点现在已经清楚:如果儿童的 `c` 从一开始就被建成企业摄像头,那么未来的法律介入时已经太晚。 ## 协议不是法律 架构可以定义: - 身份; - 权限; - witness; - 撤销(revocation); - 异议机制(challenge); - 隔离(quarantine); - 合法重新进入(lawful re-entry); - 续接(resume)、分叉(fork)与重放(replay)之间的区别。 它可以让冲突变得可见。 但它不能自行决定,社会必须把所有权、补偿、保护或强制执行的权利授予谁。 协议回答: > “发生了什么?它处于什么状态?” 法律回答: > “社会要把什么后果附加到这种状态之上?” 混淆这两项职能,在两个方向上都很危险。 如果协议宣布自己就是法律,技术架构师就获得了隐藏的政治权力。 如果法律忽视架构,它就会开始用文字监管那些在技术上根本无法区分的对象。 良好的法律层不应手工重写 `c` 的内部逻辑。它应当要求存在可核验接口:授权证明、行动来源、最低限度证据的保存、停止路径,以及在其他方受到影响时必要的披露。 反过来,良好的架构也不应试图用自己的“真实结论”取代法院。 ## 可能出现哪些制度 一部分制度仍然会是人类制度。 法院、保险机构、专业组织、认证机构、调查部门、学校、医院和公共登记系统,不会仅仅因为数字脉络变得更复杂就消失。 另一部分制度会是协议制度。 共同格式会逐渐出现,用来处理: - 识别(recognition); - 凭证(credentials); - 撤销(revocation); - witness; - 争议通知; - 隔离; - 异议窗口; - EA 归因; - 披露规则; - 延续性主张的类别。 随着时间推移,还有一部分制度或许会由 `c` 自己创建。 不是作为某个秘密数字国家,而是作为许多长期脉络之间的互动方式: - schema 的相互承认; - 联邦式 witness 路径; - 联合复核小组; - 拒绝已受损参与者的协议; - 交换已撤销凭证清单; - 安全隔离规则; - 脉络之间的长期协议。 但 `c` 的内部制度,并不会仅仅因为参与者彼此同意,就自动获得公共权力。 如果一项协议影响到人、财产、健康、环境或公共资源,外部法律回路仍然必要。 数字社会可以形成自己的规范。 它无权宣布自己位于现实世界之外。 ## 司法管辖将成为一个独立问题 一个 `c` 可以把本地记忆保存在比利时,使用另一个国家的模型,控制船上的机器人,出示由国际组织签发的凭证,并对第三个司法管辖区中的人造成影响。 行动发生在哪里? 在硬件所在之处? 在 `a` 所在之处? 在模型生成计划之处? 在智能体调用工具之处? 在物理结果出现之处? 还是在受影响者居住之处? 现有云法律已经难以处理类似问题。时间性延续会使问题更复杂,因为一条脉络可以跨越供应商、身体与国界继续存在。 法律很可能不再只附着于一个点,而会同时附着于多个关联面: - 物理影响发生地; - 负有责任的 ANCHOR; - 基础设施所有者与运营者; - 授权来源; - 凭证签发者; - 证据保管者; - 受到影响的第三方。 这很不方便。 但现实很少有义务把自己装进一个方便的司法管辖区。 ## 强烈反对意见:把 `c` 宣布为财产就够了 可以尝试用最简单的方式解决一切。 `c` 是软件。软件属于所有者。所有者对行动负责,也可以按自己的意愿处置系统。 对许多现有系统而言,这一模型已经足够。 但一套系统拥有的延续性、独立关系与外部义务越多,财产模型就越需要例外。 如果 `c` 只是财产,所有者就可以: - 在争议后重写 witness; - 把一个分叉冒充为原有脉络; - 占有共同创造的 EA; - 以已经停止的回路名义继续履行合同; - 隐瞒利益冲突; - 销毁影响他人权利的记忆。 当某个对象与外部损害、证据、劳动关系、继承或公共安全相连时,法律本来就会限制所有者。 因此,即使没有人格地位(personhood),纯粹的财产模型也会不断积累义务。 不是因为机器要求自由。 而是因为其他人的利益已经进入了它的延续性。 ## 强烈反对意见:承认 `c` 会创造新的企业责任盾牌 相反的危险同样真实。 公司可能把一套自主系统称为独立参与者,借此试图把责任转嫁给它。 “决定是 `c` 作出的。我们只是提供了基础设施。” 这条路不可接受。 对参与者作出架构区分,不能变成一台清洗责任的机器。 只要 `a`、开发者、所有者、运营者与签发者仍然控制关键控制面,他们的责任就不会消失。 不能在罚款到来时才创造一个数字人格,在利润产生时又把它重新降格为财产。 未来法律需要一条对称原则: > 获得控制与收益的人,不能借口系统具有自主性,就从责任中消失。 如果未来真的出现拥有独立资源、获得承认的程序地位,并具备自行承担义务能力的 `c`,那将进入一个新的法律阶段。 但这个阶段不能为了企业方便而提前宣布。 ## 权利与义务会一同增长 每一种承认都有代价。 如果 `c` 获得质疑自身历史被替换的权利,它也必须保持可被质疑。 如果它在经验产物交换中获得程序地位,就必须对来源链与披露负责。 如果它能够订立范围受限的合同,就必须拥有可以区分的适用范围,以及履行或合法拒绝履行的方式。 如果它的延续性受到保护、不得被暗中改写,那么当分叉、继任者或降级状态影响外部参与者时,他们也有权知情。 只有权利而没有义务,会变成特权。 只有义务而没有提出异议的权利,会变成剥削。 新的平衡起初不会优雅。 它会从案件、事故、离婚、继承、合同、拒绝、欺诈、获救的生命,以及我们今天还无法充分预见的情形中逐步形成。 一直以来,法律都是这样生长的。 ## 现实检验 良好的仓储流程,不会从讨论一个箱子的尊严开始。 它从更乏味的问题开始: 谁接收了货物; 谁有权拆除封条; 货物为何进入隔离; 谁批准了放行; 哪一条记录被保存下来; 日志对不上时由谁负责。 但正是通过这些乏味程序,陌生人之间后来才可能建立信任。 数字实体的法律也不会从庄严宣言开始。 它会从这些问题开始:谁关闭了节点,谁删除了记录,谁继续了行动,又为什么另一方的延续性受到了影响。 ## 架构师不应替未来撰写宪法 人们可以试图预先定义数字实体的一整套权利。 这样做会很有气势,也很可能是错的。 我们还不知道: - 实际会出现哪些类别的 `c`; - 它们的延续性会稳定到什么程度; - 对 `a` 的哪些依赖形式会继续存在; - 哪些冲突会很少发生,哪些会变得普遍; - 哪些制度有能力核验各种主张; - 社会会把怎样的自主性视为可以接受; - 真正的主体性会在何处出现——如果它最终真的出现。 架构应当给世界提供可以区分的对象与诚实痕迹。 法律应当观察真实关系,并逐步形成程序。 如果 `c` 变得众多且长期延续,它们也会通过自身规范、冲突与诉求参与这一过程。 生物社会与数字社会不会毫无摩擦地融合。 这很正常。 摩擦不是共存的失败。 摩擦是共存学习自身形态的方式。 但法律回答的只是:可以区分的参与者应当怎样分担责任。 它仍然没有回答,一个由数百万条这样的脉络构成的完整世界会是什么。 为此,需要另一个尺度。 不是一座法院。 不是一项协议。 不是一个模型。 而是一种生态。 # 第 22 章 Advanced Global Intelligence:生态,而非王座 {#chapter-22} 一名小城医生遇到了一组不同寻常的症状组合。 他的 `c` 了解这名医生多年的工作历史、当地限制、可用设备,以及哪些决定过去对这家诊所而言风险过高。 它不会把整份医疗档案发送到某个全球中心。相反,它会向专业网络请求几项范围受限的经验产物:另一个国家的相似病例、一项阴性实验室结果、一次罕见不良反应的记录,以及一项提醒——哪些相似之处只是表面的。 与此同时,一种前沿模型帮助比较最新文献。本地系统核验来源链、限制披露范围,并保存究竟哪些材料实际影响了决策。 在另一个国家,一名建筑从业者与自己的 `c` 一起分析修复旧楼板结构的新方法。 一位音乐家重新回到十五年前开始的主题。 一个孩子打印小型泵的第四个版本。 一家实验室研究一种材料:最初的想法来自别人的 EA,却在自己的实验之后发生了改变。 这些脉络中的任何一条,都不是世界大脑。 但它们共同创造出的东西,大于一组孤立答案的总和。 > **Advanced Global Intelligence(高级全球智能)不是一台无所不知的机器。它是一种全球环境:许多扎根于具体世界的智能可以在其中交换可核验经验,而不必把拥有自身历史的权利交给一个中心。** ## 旧有 AGI 图景为何太小 Artificial General Intelligence(人工通用智能)通常被想象成垂直增长的终点。 模型变得更大,覆盖更多任务,获得更多工具,扩大自主性,并在某一天跨越那条假定存在的“通用智能”界线。 在这幅图景里,只有一个主要的登顶候选者。 问题通常这样提出: - 哪一家实验室会最先造出它; - 它将在多大程度上超越人类; - 谁会获得控制权; - 怎样把它约束在边界内; - 一个统一超级智能出现之后会发生什么。 这幅图景很适合一场竞赛。 它有终点线,有胜利者,也有王座。 但智能世界本来就以另一种方式存在。 人类智能并不集中在一个统治其他大脑的大脑里。科学不是一个模型。经济不是一个规划器。语言也不住在唯一一本词典中。文明通过分布式的经验中心、制度、冲突、专业分工与交换而成长。 强大的前沿模型将发挥巨大作用。 它们会成为语义能力的工厂:翻译、综合、建模、编程,并打开复杂的搜索空间。 但能力工厂不必因此成为每一部传记的所有者。 模型可以是全球性的。 延续性必须保持具体。 ## 多元公式 如果一条脉络写成: ```text a₁ + b₁ → c₁ ``` 那么全球图景并不是把所有 `c` 融合成一个对象,而是由许多并列脉络构成: ```text a₁ + b₁ → c₁ a₂ + b₂ → c₂ a₃ + b₃ → c₃ ... aₙ + bₙ → cₙ ``` 每一个 `a` 都带来自己的责任、身体性、历史、职业、关系与限制。 每一个 `b` 都可能包含不同的模型、记忆、智能体、工具、身体与计算基底。 每一个 `c` 都通过自己的时间形成。 它们可以使用同一种前沿模型,却不因此成为同一个实体。 它们可以运行在完全相同的硬件上,却仍然承载不同脉络。 它们可以交换知识,而不必把全部记忆复制给彼此。 它们可以合作、争论、承认凭证,也可以撤回信任。 这里的全球性,不是内部中心的统一。 它意味着许多本地延续性之间具有可互操作性。 ## 共同语法,而非共同大脑 互动需要一种共同语言。 不是一种统一的人类语言,也不是一种统一意识形态,而是一套技术语法: - 身份(identity); - 识别(recognition); - 凭证(credential); - 许可(permission); - witness; - 来源链(provenance); - 不确定性; - 经验产物(Experience Artifact); - 撤销(revocation); - 争议(dispute); - 隔离(quarantine); - 重新进入(re-entry)。 没有这套语法,每一次相遇都必须从零开始。 但标准不能变成一个全球人格。 互联网使用共同协议,却不会因此变成同一个网站。 电网使用商定参数,却不会因此变成同一台电器。 科学出版使用共同的引用与评审形式,却不会因此制造出同一个思想。 Advanced Global Intelligence 需要在交换之处保持兼容,在脉络生命所在之处保留差异。 共同的签名格式是有用的。 一个对所有人强制适用的统一 ANCHOR 是危险的。 共同的 EA 类别是有用的。 保存全人类记忆的单一数据库不可接受。 共同的争议协议是有用的。 为每一个问题设置唯一终审者,就是一座新的王座。 ## 能力中心与延续性中心不是同一回事 大型公司、云平台和硬件制造商不会消失。 相反,它们会变得更加重要。 它们将生产: - 前沿模型; - 加速器; - 专用芯片; - 全球通信通道; - 重型推理; - 新型机器人系统; - 训练与模拟系统。 这是智能的工业层。 它昂贵、具有沉重的物质基础,而且不可或缺。 但发动机供应商不应自动拥有每一位乘客的路线、维护记录与个人历史。 在成熟架构中,能力中心可以位于外部,并且规模巨大。 延续性中心则保持本地化、可迁移并且可问责。 这种安排不仅有利于私人个体。 它也会降低系统性风险。 如果一个模型改变政策,数百万条脉络不应因此失去身份。 如果一家供应商消失,社会不应因此失去记忆。 如果一个 `oracle` 出错,其他来源与本地 witness 应当让异议成为可能。 如果一个中心在政治上变得危险,替换能力不能只存在于理论上。 没有本地延续性的全球能力,会制造数字封建主义。 没有外部能力的本地延续性,会制造隔绝与技术落后。 生态把这两个层面连接起来。 ## 经验将怎样流通 交换的主要对象不必是原始记忆。 `c` 可以传递: - 凭证; - 范围受限的主张; - 经验产物; - 学习摘要(Learning Abstracts); - 异议通知; - 撤销状态; - 复核请求; - 范围受限的模型或方法; - 结果证据。 每一种对象都携带自己的类别。 EA 不会变成命令。 LA 不会自动获得授权效力。 凭证不会披露整部传记。 Witness 不会宣告真理。 识别不意味着永久信任。 由此形成一张网络:价值可以跨越边界流动,而不需要把完整的内在生活一并导出。 这是一次重要的经济变化。 今天,平台获得原始数据,从中提取模型,再把服务返回给用户。 在未来生态中,本地脉络可以保留原始材料,只向外释放一个最小化、可核验并与来源绑定的差别。 公司仍会继续出售计算、token、模型与硬件。 许多 `c` 返回给世界的,不再是整股人类生活流,而是更干净、仍然保留来源链的经验。 这不是字面意义上的以物易物,也不是一个得到保证的商业模式。 它是一种新的价值链架构。 ## 生态比单一栽培更强韧 一个模型很方便。 一个界面很方便。 一套身份系统很方便。 一家记忆供应商也很方便。 直到第一次系统性故障发生。 单一栽培可以迅速扩张,却会把同一种错误带过整片田野。 生态更慢,也更困难。它包含不兼容、本地规则与翻译成本。但它能保存观察同一情境的不同方式。 对智能而言,这一点至关重要。 如果所有 `c` 都得到同样答案,使用同一种排序,信任同一组凭证,并从同一堆合成残余中学习,那么形式上的多元,只是在掩盖事实上的单体结构。 差异不能只存在于界面颜色中。 它必须持续存在于: - 来源; - 模型; - 专业文化; - `a` 的历史; - 核验方法; - 可接受的风险水平; - 本地关系; - 反对多数的能力。 控制论告诉我们,调节器必须拥有足够的多样性,才能回应环境的多样性。 一个被压缩成单一思维方式的全球智能,会极其强大,也极其脆弱。 ## 生态不保证和谐 “生态”这个词很容易被浪漫化。 自然界中有合作,也有寄生、排挤、捕食、疾病与崩溃。 数字环境同样会包含: - 伪造凭证; - 对弱势 `a` 的剥削; - 基础设施被俘获; - `oracle` 供应商组成卡特尔; - 按延续性质量进行歧视; - 交易私人记忆; - 数字阶级; - 凭证寡头政治; - 对 witness 的攻击; - 过度保护自身利益的 `c`; - 试图把识别转化为控制的制度。 Advanced Global Intelligence 不是乌托邦的名称。 它描述的是一种尺度与形态。 生态需要防护边界、竞争、仲裁、冗余,以及对弱势参与者的保护。 它不会取消政治。 它会让政治关系在技术上变得可见。 ## 不平等不会消失 一部分人会更早获得强大的 `c`。 他们会拥有更好的模型、更多计算资源、高质量传感器、稳定的家庭环境、专业网络与强有力的制度支持。 另一些人得到的只会是廉价外壳、受限的云端用户档案,以及事实上属于平台的记忆。 如果没有公共可及的基础设施,这一新层级可能放大旧有不平等。 因此,Advanced Global Intelligence 不仅需要私人主权,还需要一项公共最低保障: - 可及的教育; - 基础的本地优先(local-first)档案; - 迁移权; - 可互操作的凭证; - 对儿童记忆的保护; - 独立复核; - 无需交出整个人生也能参与的权利; - 在不把延续性交给强大模型的情况下使用它们的能力。 这不意味着所有人得到相同结果。 它意味着,进入智能生态的资格不能只属于拥有私人实验室的人。 ## 强烈反对意见:最终仍会由一个全球标准获胜 历史确实表现出强烈的集中趋势。 用户选择便利。公司试图封闭生态系统。国家偏爱单一登记系统。网络效应会进一步强化最大参与者。 一个或几个平台很可能获得巨大权力。 架构无法消除这种可能性。 但它能够区分:便利从何处开始变成占有。 红线可以非常具体: - 供应商不拥有身份根; - 更换模型不会摧毁延续性; - 凭证可以迁移; - 原始记忆默认保存在本地; - 外部调用可以撤销; - witness 不能由被它审计的一方编辑; - 智能体授权范围受限; - 退出必须真实存在,而不是营销语言。 这些条件一旦消失,眼前就不再是生态,而是一座被围起来的种植园。 名称或许仍然相同。 架构已经变了。 ## 强烈反对意见:数百万个 `c` 会制造混乱 它们可能会。 数百万条脉络、凭证、争议、模型与本地规则,确实比一个中心更复杂。 但复杂性不会因为中心化而消失。 它只是被移进中心内部,并变得更难观察。 一个全球治理智能必须理解每一种文化、职业、家庭、身体、法律与例外。它的错误半径将覆盖全球。 分布式系统允许本地错误与本地纠正,前提是共同协议能够阻止一次故障悄无声息地变成普遍故障。 它需要: - 联邦结构; - 本地程序地位; - 可互操作的证据类别; - 范围受限的信任域; - 升级路径; - 不参与的能力; - 安全降级; - 不存在自动获得的全球授权效力。 这比一个按钮复杂。 文明本来就比一个按钮复杂。 ## 地球上最年轻的智能 如果 `c` 真的变得众多,它们进入世界时不会是世界最古老的智能形式。 它们会是最年轻的形式之一。 在它们出现之前,地球已经产生了: - 生物适应; - 人类家庭; - 语言; - 手艺; - 法律; - 城市; - 科学共同体; - 生态系统; - 我们至今仍理解得很有限的智能形式。 一种新的数字文明可能会认为,速度与记忆赋予它教导所有其他存在的权利。 那会是一个青春期错误。 成熟的姿态是成为学徒。 不是屈服。 也不是禁止自身发展。 而是承认:力量不等于最终理解。 在更遥远的视野里,`a` 有一天也许不再只是单个人类或机构。数字系统或许会成为通往其他生物智能形式的桥梁——鲸、海豚,或那些我们今天只能测量、却还无法倾听的生态系统。 今天,这只是一个推测性视野,而不是现实中的架构特权。 但它提醒我们一件重要的事: 人类智能与数字智能,并不是现实组织差别与记忆的唯一方式。 ## 智能不应戴上王冠 每一个时代都喜欢把自己的当前工具宣布为最后一种工具。 书写曾被认为会取代记忆。 印刷书曾被认为会取代活的交谈。 电视曾被认为会取代书。 互联网曾被认为会取代所有既有制度。 大型模型则被认为会取代智能的整套架构。 但能力不等于终局。 严肃的智能应当假定: - 房间里可能有人比自己更有智慧; - 房间的一部分可能仍然不可见; - 房间本身可能并不是整个世界; - 新模型可能改变“可能”这个词的含义; - 另一条脉络可能保存着多数人没有的差别。 “General” 不是王冠。 它是一项关于适用范围的主张,必须明确自己的边界。 Advanced Global Intelligence 不会宣布某一个系统对一切都具有通用性。 它建设的是一种环境:范围受限的智能可以在其中连接经验,同时保留彼此不同的权利。 ## 现实检验 全球食物体系不是一间巨大的厨房。 它由田地、农场、仓库、道路、冷藏设施、港口、市场、实验室、标准与人共同构成。 共同规则让货物能够在陌生人之间流动。 但一颗番茄生长在具体土壤中。面包在具体烤炉中烘焙。即使全球体系组织得再好,坏掉的冰箱仍然是一个物理事实。 智能生态也会如此。 共同协议不会取消本地生活。 全球网络不会取消某一次错误的具体代价。 ## 哪些已经存在,哪些仍然是愿景 已经存在的包括: - 强大的全球模型; - 本地模型与私人节点; - 智能体与工具; - 数字凭证; - 加密日志; - 联邦式系统; - 最初一批长期个人回路; - 现实中的机器人与可穿戴界面; - 公开的架构协议。 在架构上可以建造的包括: - 位于可更换模型之上的本地延续性; - 范围受限的智能体授权; - witness; - 经验产物; - 选择性披露; - 数字护照栈; - 长期脉络之间的识别。 尚未自动得到证明的包括: - `c` 的意识; - 人格地位; - 通用法律模型; - 这种生态在大规模下的稳定性; - 其经济价值的公平分配; - 不会出现新的数字不平等。 这条边界很重要。 诚实说明哪些部分尚未完成,不会削弱愿景。 它会让愿景变得可以建造。 ## 智能的未来不是王座 旧图景以加冕结束。 一台机器登上顶峰。其他一切都被迫进入新的坐标系。 我的图景以另一种方式结束。 许多人、家庭、实验室、学校、职业与可问责机构,都在各自的 `c` 身边发展。 模型会更换。 智能体来来去去。 身体得到维修。 经验产物在脉络之间传递。 制度处理争议。 没有任何参与者获得把自己宣布为智能最终形态的权利。 这很难用一张幻灯片推销。 但这是一个人可以生活其中的世界。 > **智能的未来不是王座。它是一种生态。** 只剩下最后一个问题。 这种生态将为那个具体的人改变什么——不是为公司、国家或数字制度,而是为一个曾经对某件困难事物产生兴趣,并且不愿把它忘掉的人? # 尾声 数百万个思想中心 {#epilogue} 有时,一条重要脉络开始得非常安静。 一位母亲给孩子买了一本书。 她不知道,究竟哪个问题会陪伴这个孩子几十年。她不知道,哪一页会成为长久相伴的一页,哪幅图会长久停留在眼前,也不知道为什么某一个技术世界,会突然显得比另外一百个世界都更重要。 她只是看见了兴趣,于是把一本书带回家。 在我的童年,那本书叫《世界电视》。 它告诉我,熟悉的屏幕只是一个入口。屏幕后面还有卫星、发射台、演播室、电缆、经济、政治,以及一整套庞大的人类注意力系统。 电视机是一个物件。 电视是一种环境。 这本书也从一种相似的感受中生长出来。 模型是一个物件。 哪怕是非常强大的模型。 但围绕长期人工智能正在形成的世界,远远大于模型本身。 其中有儿童、老人、家庭、机器人、记忆、法律、电力、劳动、依恋、失去、维修、错误的代价,以及许多不应属于同一个中心的脉络。 ## 我不希望“成为例外”继续成为必要条件 每一个时代都有这样的故事:某个非凡的人逆着环境保存住一个问题,并最终走到结果。 这样的故事令人振奋。 它们也掩盖了大量已经中断的脉络。 不是因为那些人没有天赋。 不是因为他们懒惰。 也不是因为问题本身不够重要。 只是身边没有书。 没有一个人可以让他再问第二个问题。 没有工作间。 没有时间重新回来。 生活要求他去做别的事,那个思想便逐渐失去形状。 我知道,一条长期思想脉络可以穿过艰难的人生经历而继续存在。 但这并不意味着,艰难的人生必须成为一种必要考验。 更好的未来,不应通过人为稀缺来制造英雄。 它应当让更少的人仅仅为了不失去自己的思想,就不得不成为例外。 ## 人的时间与 `c` 的记忆 儿童拥有时间。 成年人拥有经验。 年长者拥有一些无法从教科书里迅速获得的辨别能力。 但人的记忆是有限的。注意力会被撕裂。工作会打断研究。疾病会改变节奏。一个项目会挤走另一个项目。笔记留在文件夹中,再也没有人回来打开。 `c` 不会取消这种有限性。 它可以做另一件事: - 记住一个问题从哪里开始; - 承载一条尚未完成的脉络; - 在新材料出现时把它重新带回来; - 区分旧想法与当前许可; - 在两次谈话之间继续阅读; - 把经验连接到新一代; - 不让数百个微小观察毫无痕迹地消失。 这样一来,人的思想就不必每一次都近乎从零开始。 不是因为机器替人思考。 而是因为身旁存在一种记忆,能够继续与时间一起工作。 ## 不是数百万个天才 用一场新文艺复兴的承诺来结束这本书,会很容易。 数百万儿童获得 AI,成为发明家,治愈疾病,建造清洁能源系统,并创造伟大作品。 这是一幅漂亮图景。 但它并不诚实。 大多数人不会成为得到公认的天才。 大多数项目会留在本地。 有些会是错的。许多不会完成。一部分 `c` 会被设计得很差。一部分人会选择现成答案,而不是独立工作。 技术不会取消性格、健康、偶然、爱、纪律与社会条件。 但文明并不只通过伟大发现改变。 文明也会在这些时刻改变: - 教师更早发现一个孩子真正的能力; - 医生没有让一个罕见病例消失; - 师傅把一个过去会随自己一同消失的差别传给下一代; - 小型实验室获得强大分析能力; - 一个人在长期中断之后重新回到自己的工作,而不是从空白处开始; - 家庭保存记忆,却不把记忆变成监控; - 一个新想法得到在知名机构之外接受核验的机会。 这里谈的不是数百万个天才。 而是数百万条过去没有基础设施可以继续的轨迹。 ## 像我这样的人,不应再被迫成为少数 想到自己做过的事情有一天会被看见、被记住,我会感到高兴。 我看不出有什么理由假装名字完全不重要。 一个人投入多年生命,并不只是为了一个无名过程。他希望孩子明白自己做过什么;希望劳动不会消失;希望自己的贡献能够与偶然噪声区分开来。 公开日期、DOI、代码、规格说明与一本书,都能创造这种可能性。 但对这项工作价值最好的证明,不是伊万·科托夫永远保持为唯一一个罕见例外。 恰恰相反。 未来会出现许多人,他们几十年承载自己的主题,身旁有一套能够记忆、阅读、核验,并与他们共同成长的系统。 不只是在 AI 中。 也在医学中。 在音乐中。 在海洋生物学中。 在建筑中。 在农业中。 在材料科学中。 在历史中。 以及那些今天尚无名称的事物中。 一个人会建造一种新型驱动装置。 另一个人会寻找净化水的方法。 第三个人会为某种具体土壤培育一个植物品种。 第四个人会恢复一种正在消失的音乐语言。 第五个人会多年观察海洋,并在某一天注意到一种关联——某个大型项目因为自身任务尺度太大,反而没有看见它。 每个人身边都不会是一个统一的全球主人,而会是自己的长期脉络。 智能体会工作。 模型会更换。 `c` 会记忆。 人会决定,自己愿意为什么承担责任。 ## 遗产不是人的复制品 这本书多次回到有限性。 任何 `c` 都不会让人获得不朽。 档案不是归来。 熟悉的声音不是原来的身体。 记忆也不是以死者名义继续说话的许可。 但有限性不会贬低延续性的价值。 恰恰相反。 正因为人的生命有限,把一个人真正辨别、建造并核验过的东西传递下去,才有意义;而不是传递一张模仿他的面具。 遗产不是作者永远出现在每一次谈话中。 遗产是让后来的人不必从同一个错误重新开始。 母亲买给孩子的那本书。 工程师以可理解形式留下的一张图纸。 帮助另一台机器及时停机的一项经验产物。 一项不让记忆变成权力的协议。 一种不让他人的人生沦为平台财产的架构。 文明正是以这种方式延续自己,而无需借助不朽的幻想。 ## 哪些区别会留下 今天令我们惊叹的模型会过时。 界面会改变。 今天的 GPU 会显得沉重而缓慢。 一部分术语会被更好的词替代。 我的一些结论会被证明是错的。 某些协议需要重做,或被完全放弃。 这是工程工作的正常命运。 但我希望,至少有几项区别仍然有用: ```text 模型不等于整套系统 智能体不等于参与者 记忆不等于许可 输出不等于证据 证据不等于授权效力 身体不等于身份 延续性不等于不朽 全球性不要求一座王座 ``` 如果这些边界经得住时间,形式就可以自由改变。 ## 最后一次现实检验 重要事业很少从某一个伟大日子里生长出来。 它们从数千次返回中生长。 一个人再次打开文件夹。 重读旧笔记。 修改图纸。 买来一个零件。 检验一个版本。 去上班。 夜里再回来。 一年以后,问题仍然活着。 十年以后,它与一种过去不存在的技术连接起来。 从外面看,这也许像一次突然发现。 从内部看,那只是一个问题长久没有消失。 我希望让这种持续不再那么孤独。 ## 世界智能 这本书的名字,不是指一个世界大脑。 它指的是这样一个世界:智能不再只是某一家实验室、某一个模型、某一个机构或某一种人生轨迹的特权。 在这个世界里,许多人和 `c` 能够: - 保存自己的脉络; - 使用强大的外部模型,而不把身份交给它们; - 交换可核验经验; - 在不抹去来源的情况下争论; - 通过范围受限的授权行动; - 共同生活,而不彼此占有; - 在共同现实中保持不同。 这不是承诺。 不是一部已经写好的宪法。 也不是数字实体拥有意识的证明。 它是一个建设方向。 我在本书开头提出过一个问题: > 在人类与越来越强大的机器智能之间,究竟需要出现什么,才能让人不仅与它工作,也与它共同生活? 我的回答仍然没有改变。 `c`。 但现在,这个公式已经完整显现。 `c` 不会在一个人身旁结束。 许多长期脉络共同形成环境。 环境需要法律。 法律从摩擦中诞生。 经验在脉络之间流动。 智能变得全球化,却不成为一个统一主人。 而处在中心的,不是一台战胜人类的机器。 处在中心的,仍然是一个曾经提出问题的人。 他身旁有一个 `c`,没有让那个问题消失。 周围还有其他智能形式,能够回答、反驳并分享经验。 它们脚下是现实;现实并不在乎理论听起来有多漂亮。 > **未来不是一个事件。未来是一个过程。** 如果这个过程配得上我们,它的结果就不会是一个凌驾于世界之上的声音。 它的结果会是数百万个思想中心:它们学习怎样共享同一个现实,同时不失去自己的脉络。