图片

研究者曾请一群正在写毕业论文的学生估算,从现在开始,自己还需要多少天才能交稿。

学生给出的最佳估计,平均是33.9天。

研究者又让他们设想一次最糟的进展。生病会打断进度,拖延也会消耗时间。返工或资料卡住,同样算进估计。把这些意外都加上,最晚需要多久?

这一次,平均答案放宽到了48.6天。

正常情况算了一遍,最坏情况又算了一遍。学生已经主动给意外留出了时间,48.6天听起来相当谨慎。

真正交稿时,完成论文的学生平均用了55.5天,比他们预想的最坏情况还多了近一周。即使采用最悲观的期限,按时完成的比例也停在48.7%。研究记录结束时,仍有4名学生的论文处在撰写中,平均完成时间的统计对象限于已经交稿的人。

最悲观的估计,为什么仍然比现实乐观?

因为这些学生虽然增加了坏情况,思路仍然困在自己的计划里。

他们想的是,写论文时可能遇到哪些麻烦。想到一个,就多加几天。这个办法覆盖的是自己想得到的意外。陌生的问题和计划表之外的变量,仍然留在估算之外。

他们一直在问:

我的计划可能在哪些地方出错?

参考类预测法会把问题换成:

过去写过同类论文的人,最后通常用了多久?

两句话只差一个视角,答案可能相差很远。

前一个问题让你留在自己的故事里,继续扮演主角。后一个问题把你放进一群已经交卷的人当中,先看看自己大概率落在哪个位置。

参考类预测法,就是找到一组关键条件相似、结果已经揭晓的案例,查看它们通常怎样收场,再据此预测当前项目。

这个模型最重要的动作,可以压缩成一句话:

执行时,把自己当主角;预测时,先把自己当样本。

同一个项目,为什么有人估两年,有人估七到十年?

20世纪70年代,丹尼尔·卡尼曼带领一个团队,为以色列高中编写一套教授判断与决策的课程和教材。

项目已经推进了一年左右。课程大纲列好了,部分章节写完了,团队还做过几次试讲。卡尼曼请每位成员分别估算,从现在开始,还需要多长时间才能向教育部提交完整教材。

大家的答案集中在一年半到两年半,中心位置大约是两年。

这个判断有完整的推算过程。团队知道还剩多少章节,每一部分由谁负责,接下来还要经过哪些环节。把任务逐项拆开,再把时间加起来,两年左右显得合情合理。

团队里有一位课程开发专家,名叫西摩·福克斯。卡尼曼把他从眼前的计划里拉了出来,问了一个新的问题:

过去那些已经进行到相似阶段的课程开发项目,最后用了多长时间?

福克斯回忆后给出答案:大约40%的团队最终放弃;顺利完成的项目,工期落在七到十年之间。

卡尼曼继续追问,眼前这支团队的能力和资源,在那些项目中大概排在什么位置?

福克斯的判断是,略低于平均水平,仍处在接近的位置。

如果参照同类项目的历史结果,这支团队面对的是七到十年的工期,以及大约40%的放弃概率。

卡尼曼承认,这个答案很有道理。项目仍然沿着原计划向前推进。

教材最终用了八年才完成。等到交付那一天,教育部最初的热情已经消退,后来将这套教材搁置。

同一个项目,两年和七到十年,差别究竟从哪里来?

两年来自内部视角。团队盯着眼前的任务,分析已经完成了什么,接下来准备做什么,每一步大概需要多久。

七到十年来自外部视角。福克斯暂时离开当前项目,把它放进一组同类项目中,查看这些项目过去的真实工期。

内部视角问:"我们准备怎样完成?"

外部视角问:"类似项目过去完成得怎样?"

内部视角负责拆任务、排人员、定节点,执行靠它展开。外部视角负责校准工期、预算和成功率,作承诺之前需要它。

风险出现在两种视角混为一谈的时候。执行计划写得越细,未来越容易显得清晰。每一步都有负责人,每个节点都有日期,一张表格便会带来一种确定感。

可过去那些延期甚至放弃的团队,也曾认真写过计划。

计划越具体,执行越容易启动;计划的具体程度与预测的准确程度,是两回事。

规划谬误、内部视角和参考类预测,究竟是什么关系?

理解参考类预测法,需要先把四个概念放回各自的位置。

规划谬误描述的是结果。我们估算时间、成本和收益时,答案经常偏向乐观。

内部视角解释了这种偏差怎样发生。人们沿着当前计划向后推演,注意力集中在自己准备怎么做,同类项目过去做成什么样,很少进入计算。

外部视角提供了纠偏方向。它让人暂时退出当前故事,把手里的项目当作同类案例中的一个样本。

参考类预测法把这个方向变成可执行的方法。你要找到一组可比案例,查看完整结果分布,再根据当前项目的真实差异作有限调整。

四个概念连起来,就是一条清楚的路径:

规划谬误描述问题,内部视角揭示来源,外部视角改变观察位置,参考类预测法负责把预测重新算一遍。

卡尼曼与阿莫斯·特沃斯基提出了外部视角的理论基础。后来,丹·洛瓦洛和卡尼曼将这套思路引入管理决策。大型项目研究者本特·傅以斌及其合作团队,又把它进一步操作化,用来预测项目的成本、工期和收益。

项目能否按期交付,最终成本落在哪个区间,三个月能新增多少用户,一年后还能留下多少活跃用户,这类问题都适合使用参考类预测法。

它带来的变化很朴素。预测开始少听一点自己的故事,多看一点别人已经交出的结果。

怎样用三步,把自己的计划放进历史分布?

动手寻找参考类之前,先把问题说准。

"这个项目能否成功"过于宽泛。成功可能指按时上线,也可能指控制住预算,还可能指达成用户目标。预测对象一旦模糊,挑选历史案例时就会随意,最后得到的数字也很难指导决策。

更有效的问法是:产品能否在10月1日前上线?最终成本大概率落在哪个区间?三个月新增用户最可能达到多少?一年后还能保留多少活跃用户?

指标与截止时间清楚以后,参考类预测法可以压缩成三个动作。

第一步:找对参考类

参考类是一群已经交卷的人。一个广为流传的成功故事,适合提供灵感;概率判断需要一组完整样本。

判断两个项目能否放在一起比较,项目名称的用处很小,真正有用的是那些会改变结果的条件。

先看任务类型和项目规模,再检查技术成熟度与组织协作难度。团队能力、预算状态、流量来源和市场环境,也会把结果推向不同位置。

两个项目都叫"小程序增长项目",结果形成机制可能相差很远。

一个项目已有成熟产品,预算按期到账,流量入口也很稳定;另一个项目从零开发产品,渠道需要临时协调。名称相同,关键条件仍将它们分在两个参考类里。

所谓"结果形成机制相似",说得再直白一点,就是决定项目会否延期、超支或者失败的关键条件大体相近。

参考类收得太窄,最后只剩一个最像自己的成功案例;参考类放得太宽,又会把规模和难度完全不同的项目混在一起。两种做法都会把预测带偏。

好的参考类,需要在相似性和样本量之间找到平衡。

第二步:看完整分布

找到同类项目以后,先把平均数放到一边。

参考类真正提供的是一张结果分布。它会告诉你,中间位置在哪里,多数项目集中在哪个区间;延期、超支和中途退出分别占多少,两端的结果又能延伸到什么程度。

假设一个团队提出"三个月新增30万用户"的计划。

过去12次条件相近的增长活动中,新增用户的中位数是8万。10次活动停在15万以内,超过20万的仅有1次,最高值也停在30万以下。

看到这组数据,30万依然可以留在目标栏里。把它写进预测栏,则需要更强的证据。

目标写的是你想去哪里,预测写的是按照现有证据,你大概率会到哪里。

目标可以激进,预测必须诚实。

第三步:把当前项目放进分布,再用证据调整

历史分布给出预测起点,当前项目的差异决定调整方向。

先看一个条件相近的普通项目通常落在哪里,再检查自己手里有哪些证据,足以把结果推向更好或更差的位置。

新渠道经过小规模测试,已经跑出稳定转化率,这是一份证据。预算按节点到账,也会改变项目的交付能力。产品若已通过真实用户验证,团队又在可比项目中留下可靠记录,预测就有理由调整。

"领导很重视""大家有信心""这次准备得更充分",这类表态可以鼓舞团队。领导重视一旦落实成真实资源和更快的决策,才会改变预测;停留在表态层面,证据强度仍为零。

每个项目都能讲出自己的特殊之处。真正稀缺的,是一份经过验证的不同。

证据有多强,预测才有资格调整多远。

大项目聚集了那么多聪明人,为什么仍然经常超时超支?

参考类预测听起来容易让人联想到经验不足的个人和小团队。专业团队通常拥有充足的数据和经验丰富的人员,计划也写得很细,判断似乎理应更加可靠。

大型项目的历史记录给出了另一幅图景。

据傅以斌及其团队的报告,牛津全球项目数据库2022年的资料包括16357个项目。其中,47.9%的项目守住了预算,8.5%同时守住预算和工期,最终还能实现预期效益的项目只占0.5%。

换句话说,平均每200个大型项目,1个能够同时兑现成本、时间和效益三项承诺。其余199个,至少有一项打了折扣。

这组数据描述的是总体分布,落到某个具体项目时,仍然需要重新选择参考类。它提醒决策者,只看项目团队自己提交的计划和承诺,很容易高估全部兑现的机会。

另一项覆盖20个国家、258个大型交通项目的研究发现,铁路项目平均超支约45%,桥梁和隧道平均超支约34%,公路项目平均超支约20%。

悉尼歌剧院最初计划花费约700万澳元,用4年建成。最后的成本达到1.02亿澳元,约为原预算的14.6倍,竣工时间也比原计划晚了十年。

这些项目集中了大量专业人员。聪明可以把计划写得更周密,项目仍然留在历史分布之中。

项目越大,资源通常越多,协作链条也会拉得更长。前者提升执行能力,后者引入更多难以提前列出的变量。两股力量会同时作用于结果。

真正需要警惕的是,团队把计划中那条顺利展开的路径,当成了未来最可能走过的路径。

一份计划描述我们准备怎样走,历史分布记录同类项目最后走到了哪里。预测需要同时看见两边。

为什么把预算上调44%、工期上调75%,预测反而更靠谱?

参考类预测法进入真实项目后,会把预算和工期改成什么样?

2012年,香港特区政府发展局委托开展了一项可行性研究。研究者收集了25个已经完成的香港大型道路项目,比较它们在不同规划阶段的成本、工期估算和最终结果,同时引入863个国际道路项目作为基准。

研究发现,在项目刚进入早期规划阶段、许多细节仍待确定时,如果决策者最多接受20%的超支风险,相对于当时的基准估算,成本需要上调44%,工期需要上调75%。

这两个数字看起来相当悲观。它们来自同类道路项目的历史结果,代表的风险水平是P80。

P80可以这样理解:按照历史分布作出调整后,成本估算来到这一档,大约80%的同类项目能够守住预算;工期估算来到相应位置,大约80%的同类项目能够按期完成。每一项仍然保留约20%的突破概率。

44%和75%有清楚的适用边界。

它们对应特定地区、特定项目类型和特定规划阶段。地区、类型或阶段发生变化,参考类也要跟着重选。

这两个比例表达的是特定风险水平下的估算调整。落实到单个项目,实际增幅可能低于或高于这两个数字。

成本P80和工期P80分别计算。两项同时守住的概率,需要根据二者的联合分布另行判断,直接写成80%会高估把握。

数字看起来更保守,常常只是因为历史终于进入了计算。

明明看了历史数据,预测为什么仍然可能失真?

参考类预测法可以压缩为三个动作。真正用起来,偏差经常藏在选样本和读数据的过程中。

第一种错误:拿一个成功案例代替参考类

某个小程序半年新增100万用户,于是团队把它当成自己的参考。

这个案例可以告诉你,最好的结果有多高,也能提供一些方法启发。概率判断需要另一组信息:增长缓慢的项目有多少,长期延期的项目有多少,最终停止运营的项目又有多少。

成功者最容易被看见,失败者最容易退出记录。只盯着前者,历史分布从一开始就被抬高了。

榜样告诉你最好可能做到什么,参考类告诉你通常会做到什么。

第二种错误:参考类的范围选偏了

有些人把范围收得很窄,最后留下几个与当前项目最相似的成功案例。另一些人追求样本量,把规模、难度和资源条件相差很大的项目全部装进来。

前一种选择让样本偏向成功,后一种选择让可比性迅速下降。

参考类要同时守住两条线:样本量足以形成分布,关键条件足以支持比较。

第三种错误:一个平均数吃掉了整张分布

假设历史上的铁路项目平均超支45%,把新项目预算直接增加45%,是否足够?

这个数字只呈现所有项目的平均结果。中位数的位置与尾部超支幅度,仍然藏在分布里。

风险承受水平还会改变答案。一个项目把可接受的超支概率设为10%,另一个设为40%,两者需要准备的预算和工期自然不同。

平均数适合描述总体,具体承诺还要回到分布中的位置。

第四种错误:样本很少,答案却精确到小数点后一位

个人和小团队可能只能找到5个或10个同类案例。这些案例依然有价值,适合提供方向和大致区间。

样本越少,偶然性占比越高,预测区间就该放宽,措辞也该保留余地。用5个案例算出"按时完成概率73.6%",小数点制造了确定感,证据仍然停在原来的强度。

历史记录的完整程度同样重要。延期、放弃和失败项目一旦从数据库中消失,留下来的分布自然显得乐观。

第五种错误:预测从一开始就承担着立项任务

有些项目面对的难题来自激励。成本一旦报高,工期一旦报长,预期收益一旦调低,立项就可能受阻。

项目推动者于是倾向于压低成本、缩短工期、抬高收益。傅以斌把这类行为称为"战略性误述"。

参考类预测法能够让数字与历史记录正面碰撞,使异常乐观的承诺更容易暴露。要处理故意筛选数据、回避负面结果的问题,审计要负责复核数字,监督与利益披露让选择过程可见,问责机制再处理故意偏离。

方法可以提高诚实预测的质量,组织规则决定诚实预测能否留在会议桌上。

普通人手里只有几份记录,怎样使用参考类预测法?

普通团队很少拥有上万个项目组成的数据库。真正的起点,可以是一份持续更新的项目记录。

下一次项目结束后,打开备忘录,花五分钟记下几组对照。先写最初预计何时完成,以及实际交付落在哪一天。预算起点和最后支出放在一起,预期结果也要对照真实结果。再补上当时的团队规模、资源条件和主要阻碍。

几次项目之后,这份记录就会比记忆可靠。人的记忆喜欢保留解释,记录会留下当时写过的数字。

寻找参考案例时,可以先翻自己的历史任务,再查看团队和公司的旧项目。行业公开数据排在后面,关键条件相似的其他领域案例也能提供补充。

记录时,失败项目尤其重要。它们容易在复盘中被一笔带过,却直接决定你看到的是完整分布,还是一份经过筛选的成功名单。

即使只有少量案例,也可以作出有边界的判断。比如:

过去8次类似活动中,6次新增用户低于10万。现有记录距离把20万写成最可能结果,还差很远。

这样的表达看起来朴素,却准确交代了证据强度。

可靠的参考类暂时缺席时,预测就先保留区间。项目可以从小规模试验开始,资源分阶段投入,再用真实反馈更新判断。继续投入需要什么证据,出现什么结果就该停止,也要提前写清楚。

历史样本空缺时,先创造一个成本可控的新样本。

下次写计划前,先问自己哪五个问题?

参考类预测法给雄心加上的,是证据要求。

目标可以高于历史平均水平,行动也可以冲着极少数的优秀结果去。预测承担着另一项责任,它要告诉决策者,按照目前掌握的信息,结果最可能落在哪里,需要为多大的风险准备资源。

你当然可以努力创造一个偏离历史的结果。把"我想做到"直接写成"我大概率会做到",中间还差一段证据。

内部视角负责组织行动,外部视角负责校准承诺。两种视角一起工作,计划才既能推动团队,也经得起结果检验。

下次写计划、报预算或作出承诺之前,先问五个问题:

一,我要预测的究竟是哪一个指标,截止时间落在哪一天?

二,哪些历史项目在任务、规模、复杂度和资源条件上与当前项目接近?

三,这些项目最后分别做成了什么样,延期、失败和中途退出的案例是否进入统计?

四,如果希望提高守住工期和预算的把握,还要预留多少时间与资源?

五,我手里有哪些已经验证的证据,足以支持当前项目偏离历史分布?

这五个问题如果暂时空着,当前数字仍然可以作为目标,也可以作为团队争取的方向。把它当成可靠预测,还需要补上参考类和证据。

写毕业论文的学生已经主动想过最坏情况,结果仍然低估了时间。问题出在他们只给自己的故事增加了几个意外,视线始终停在故事内部。同类论文过去究竟写了多久,始终留在计算之外。

执行需要信心,承诺需要校准。

执行时,把自己当主角。

预测时,先把自己当样本。

模型档案卡

参考类预测法(Reference Class Forecasting)


标准定义
预测项目的成本、工期、收益或成功率时,先选择一组结果形成机制相似、真实结果已经揭晓的历史案例,建立结果分布;再把当前项目放入这一分布,以历史结果作为预测起点,并依据经过验证的差异作有限调整。


核心功能
用同类项目的真实结果校准内部视角产生的乐观计划,把单一数字转化为与风险承受水平相匹配的预测区间。


核心步骤
找到关键条件相似的参考类,查看保留了失败与退出案例的完整分布,并根据可验证的差异调整预测。


理论来源
丹尼尔·卡尼曼与阿莫斯·特沃斯基提出了利用分布信息和外部视角校准直觉预测的理论基础;丹·洛瓦洛与卡尼曼进一步将外部视角引入管理决策;本特·傅以斌及其合作团队将参考类预测法操作化,用于大型项目的成本、工期和收益预测。


适用场景
适用于预测项目工期与成本,也能用于估算用户增长和产品交付。收益与成功率等任务,只要能找到可比案例,同样适用。


使用边界
预测质量受历史数据质量与参考类可比性约束。可比案例稀少时,结论更适合表达为宽区间;战略性误述还需要审计与问责机制处理;内部执行计划依然负责组织行动。参考类提供的是更诚实的起点,具体项目仍然可能偏离历史。

这是思维模型系列的第73篇。

如果你或身边的人正在写计划、估工期、报预算,可以把这篇文章分享给他。

作出承诺之前,值得一起回答两个问题:

过去的同类项目,最后通常做成了什么样?

我们手里有哪些经过验证的证据,足以证明这次会走向历史分布之外的位置?

你经历过最离谱的一次延期是什么?当初漏掉的那个问题,后来怎样改写了结果?