图片

购买率上涨15%,红包到底贡献了多少?

你想验证10元红包能不能提高购买率,于是从过去30天没有购买的新用户中抽取一批样本,随机分成两组:一组收到红包,另一组不发红包。两组人数相近,活动前的购买率都是20%。

7天后,发红包组的购买率升到35%,没有发红包的对照组升到32%。

如果只看发红包组的前后数据,你很容易在周报里写下:

红包策略有效,购买率提高了15个百分点。

可对照组同期也提高了12个百分点。平台增加流量、市场需求回暖,以及其他同时进行的活动,都可能推动两组用户的购买率上涨。

如果随机分组、活动执行和数据记录没有明显问题,那么两组最终相差的3个百分点,可以作为红包对这批用户平均效果的一个估计。

这里的"估计"很重要。3个百分点仍可能受到随机波动影响;换一批用户、换一个时间,或者改变红包金额和使用规则,效果都可能不同。

不过,这个估计至少比"发红包后上涨15个百分点,所以红包贡献了15个百分点"更接近我们真正要回答的问题:

相比另一种明确方案,这次行动让结果多改变了多少?

这就是反事实因果模型要解决的问题。

它不只是泛泛地提醒我们"相关不等于因果",而是把因果判断改写成一个可以检查的问题:

如果采用另一种方案,结果会相差多少?

为什么行动前后的变化,不能直接算作行动的效果?

反事实因果模型,是一套判断行动是否真正造成结果变化的思维工具。

它的一句话定义是:

反事实因果模型,是通过比较同一目标对象在两种明确方案下可能出现的结果,判断一项行动究竟造成了多大改变。

所谓"反事实",就是现实中没有发生,却必须为了判断因果而估计的那条路径。

一个用户已经收到了红包,我们可以看到他收到红包以后是否购买;但要判断红包有没有作用,还必须追问:同一个用户如果没有收到红包,本来会不会购买?

一家门店已经完成整改,我们能看到整改后的销售额;但要判断整改贡献了多少,还必须估计:这家门店如果没有整改,本来会做到多少?

因此,反事实因果模型处理的不是"做完以后,结果变了多少",而是"采用方案A与采用方案B,结果会相差多少"。

它最简单的公式是:

因果效果=采用方案A时的结果-采用方案B时的结果

写成符号就是:

因果效果 = Y(A) − Y(B)

其中,Y(A)表示采用方案A时可能出现的结果,Y(B)表示采用方案B时可能出现的结果。

在红包案例中,方案A是发10元红包,方案B是不发红包,观察指标是未来7天的购买率。如果两组由随机分组产生,而且实验执行没有明显问题,那么可以用两组的平均结果估计红包的平均效果:

红包平均效果估计 = 35% − 32% = 3个百分点

这并不是说,红包的真实效果永远等于3个百分点。更准确的说法是:

在这批用户、这套红包规则和这段观察时间内,现有数据给出的平均效果估计是3个百分点。

模型的难点不在公式有多复杂,而在比较对象有没有选对。

大多数人的因果判断,用的却是另一个看似自然的公式:

做之前80分,做之后90分,所以这次行动带来了10分提升。

换负责人以后业绩上升,于是认为换人有效;参加培训以后成绩提高,于是认为培训有效;整改门店以后销售额增长,于是认为整改有效。

这些判断不一定错误,但仅凭"行动发生在前,结果变化在后",还不足以完成归因。你比较的是同一个对象的过去和现在,而不是同一时间窗口内,两种不同方案可能带来的结果。

从行动前到行动后,季节、市场、用户和竞争环境都在变化,自然波动、回归均值以及其他同期措施,也可能改变结果。一次前后变化,通常是多种力量共同作用的结果:

前后变化=行动可能带来的效果+环境变化+自然波动+其他同期因素

这不是用来精确计算的统计公式,而是在提醒你:观察到的变化里,往往混着不止一种力量。

如果把这段时间里的全部变化都记在某项行动头上,就可能把外部环境带来的改善算成行动的功劳,也可能把环境造成的下滑归咎于某项行动或某个人。

行动发生在结果之前,是因果关系成立的必要条件,却不是充分证据。

有些场景中的前后变化,确实能够提供较强的因果线索。例如设备出现明确故障,关闭某个开关后故障立刻消失,而且作用机制清楚、其他解释很少。变化越及时,机制越明确,其他解释越少,这条线索就越接近证据。

但营销、管理、教育、政策和健康等复杂问题,往往同时受到多种力量影响。在这些场景中,真正需要比较的不是行动前后,而是方案A与方案B。

方案B也未必是什么都不做。它可以是不发红包、发5元红包、发积分、继续使用旧方案,也可以是采用另一套培训方法。

发10元红包比不发红包有效,不代表它比发5元红包更划算;新方案比维持原状有效,也不代表它优于另一套方案。参照方案改变,因果问题也会随之改变。

因此,一个完整的因果问题至少要说明六件事:

1. 对谁:目标人群或对象是谁;

2. 做什么:行动的具体版本是什么;

3. 跟什么比:参照方案是什么;

4. 看什么结果:观察哪个指标;

5. 看多久:在哪个时间窗口内衡量;

6. 估计谁的效果:全部目标对象,还是其中某一类对象。

不要只问:

红包有没有用?

更完整的问法是:

对过去30天没有购买的新用户,发放一张7天有效、满50元可用的10元红包,相比不发红包,是否会提高未来7天的平均购买率?

行动本身也必须说清楚。无门槛红包和满50元可用的红包,不是同一种行动;当天到期和7天到期,不是同一种行动;只发券和发券后连续提醒,也不能被视为同一个方案。

如果行动本身含糊不清,就不存在一个稳定、明确的因果效果。

再看一个门店案例。

假设一家门店整改前的月销售额是80万元,整改后达到100万元。表面看,整改带来了20万元增长,但这20万元只是整改前后的变化,并不等于整改本身的效果。

如果没有整改,门店因为旺季到来,本来也能做到95万元,那么整改带来的增量只有5万元;如果不整改,门店原本会继续跌到70万元,那么整改带来的效果就是30万元。

95万元和70万元都不是对这家门店真实情况的预测,只是用来说明:

整改贡献了多少,取决于这家门店不整改时本来会做到多少。

我们看得到整改后的100万元,却看不到"不整改时本来会怎样"。这条看不见的路径,才是因果判断真正缺少的东西。

那条我们没有走的路,应该怎样估计?

Two roads diverged in a yellow wood,
And sorry I could not travel both.

金黄的树林里分出两条路,可惜我不能同时走过两条。

弗罗斯特在《未选择的路》中写下的,是人生选择中一个无法摆脱的事实:我们一旦走上其中一条路,就不可能在相同的时间、以相同的自己,再去完整经历另一条路。

因果判断面对的也是同一个难题。

一个用户收到了红包,我们就看不到他在同一周没有收到红包时会不会购买;一家门店完成了整改,我们也无法同时观察它保持原状时的销售额。现实只会留下其中一个结果,另一条路径不会发生,更不会自动变成一组可以读取的数据。

反事实因果模型真正困难的地方,就在这里:

同一个对象在同一时间,只能经历一种方案。

按照前面的公式,我们想比较的是:

Y(A) − Y(B)

可现实中,我们只能观察到其中一项。

用户收到了红包,我们就看不到他在同一时间没有收到红包时的结果;用户没有收到红包,我们也无法知道他如果收到红包会怎样。

这不是数据不足,也不是算力不够,而是因果问题本身的结构决定的。我们永远无法让同一个人在完全相同的条件下,把两条路都走一遍,再回头比较哪条路带来的结果更好。

因此,需要区分个体因果效应和平均因果效应。

个体因果效应,是同一个具体对象在两种方案下可能出现的结果之差。这个问题可以提出,却通常无法直接回答,因为我们只能看到这个对象实际走过的一条路。

平均因果效应,则是比较同一类对象在两种方案下的平均结果。现实中的随机实验和多数因果研究,通常能够回答的是:

这项措施对这类人,平均有多大作用?

它无法保证,这项措施会对每个人产生完全相同的作用。

红包使购买率平均提高3个百分点,并不意味着每个用户的购买概率都提高了3个百分点。有些用户可能因为红包而购买,有些用户完全不受影响,还有一些用户即使没有红包也会购买。

平均有效,不等于对每个人都有效。

我们无法直接观察那条没有走的路,只能寻找一批现实中的对象,借助他们的结果去估计它。问题随之而来:既然看不到同一个对象的另一条路径,我们能不能找一个没有接受行动的人来代替?

可以,但不能随便找。

因为真正困难的,从来不是找到一个"没有走这条路的人",而是判断:

这个人走过的路,
能不能代表我没有走的那一条?

有了对照组,为什么仍然可能算错效果?

一个自然的想法是:

找一个没有接受行动的人作为对照,不就可以了吗?

问题在于,没有接受行动的人,未必能代表接受行动的人在没有接受行动时会怎样。

主动报名培训的人,可能本来就更积极;收到优惠券的人,可能原本就是高活跃用户;被重点扶持的门店,也可能本来就拥有更好的团队。

如果两组人在行动发生前就存在会影响结果的重要差异,那么行动后的差距里,会同时混着两部分内容:一部分来自行动本身,另一部分来自两组原来就不一样。

所以,关键不只是有没有对照,而是:

为什么这个对照能够代表接受行动的人,在没有接受行动时会得到什么结果?

说得直接一点,就是要证明:这个比较为什么有资格回答因果问题。

年龄、地区和历史购买率看起来相近,并不能自动证明两组可以比较。还可能存在一些没有被记录的因素,同时影响谁接受行动以及最终结果。

对照是否可信,不能只靠"看起来差不多",而要看对象是怎样分组的,行动是怎样执行的,以及结论依赖哪些条件。

在因果推断中,这一步通常被称为"识别"。专业术语听起来有些复杂,它真正追问的只有一句话:

现实中的这个对照,凭什么能够代替那条没有发生的路径?

对照不可信,后面的计算再精确,也只是把一个错误的比较算得更漂亮。

一个孩子提高了12分,补习班该拿多少功劳?

假设一个孩子参加补习班后,数学成绩从70分提高到82分。家长很容易得出结论:

补习班让孩子提高了12分。

但同一时期,班里其他孩子因为期末集中复习和课程推进,数学成绩平均提高了8分。即使这个孩子没有参加补习班,他的成绩也可能随着班级整体进度自然提高。

如果参加补习的孩子与其他同学在原有成绩、学习能力、进步趋势和家庭投入上比较接近,那么多出来的4分,可以作为补习班增量效果的一个初步估计。

但这个前提未必成立。

参加补习班的孩子可能本来就有更强的学习动力;愿意报名的家长可能同时加强了监督;不同孩子的基础水平和自然进步速度,也可能存在明显差异。

因此,班级平均提高8分,并不能自动证明,这个孩子不参加补习班时也一定会提高8分。那4分可以作为一条线索,却不能直接认定为补习班的确定贡献。

这个案例要说明的,不是"补习班只贡献了4分",而是:

观察到的变化,不等于行动造成的增量;有了对照,也不等于找到了可信的反事实。

反事实检查不是为了否认补习班的作用,而是把三件事分开:孩子的成绩实际提高了12分;在参照可信的前提下,补习班可能带来额外增量;学习动力、家庭监督和基础差异等其他原因,目前仍未被完全排除。

所以,判断对照是否有用,不能只看对方"有没有参加补习班",还要继续追问:

如果两个人接受同一种方案,他们原本会不会得到相近的结果?

只有这个问题能够得到较可信的回答,对照才有资格代表那条没有发生的路径。



什么样的对照,才有资格代表另一条路?

我们无法直接看见反事实,只能借助不同的比较方式,尽量逼近那条没有发生的路径。

为什么随机分组更接近公平比较?

随机对照试验的基本思路,是把符合条件的对象随机分进不同组:一组接受行动,另一组接受参照方案。

随机化并不能保证有限样本中的两组在每个方面完全相同,但它能让谁进入哪一组,不再由活跃度、购买意愿、管理者判断或其他原有特征决定。

当随机过程、行动执行和数据记录没有明显问题时,两组结果的差异,就更有理由被解释为行动造成的平均效果。随机对照试验也因此被广泛用于药物、教育和政策评估。

但随机实验不是贴上标签就自动可信。样本太少、分组被破坏、对照组受到行动影响、参与者没有按方案执行,或者观察时间太短,都会削弱结论。

更重要的是,很多现实问题根本没有条件做严格实验。项目已经结束,没有提前预留对照组;所有区域同时上线新政策;老板第二天就要结果——这些才是职场中的常态。

此时并非完全不能分析,只是必须降低结论强度,并尽量寻找次优参照。

分批上线为什么不自动等于可信实验?

如果一项措施最终要覆盖所有对象,可以先实施一部分,再逐步扩大。暂时没有接受行动的对象,可以作为同期参照。

但如果第一批上线的恰好都是表现最好、意愿最强或资源最多的对象,那么批次差异里仍然会混入原有差别。

因此,分批实施最好随机安排顺序;做不到时,也要说明不同批次为什么可以比较。

分批上线提供的是一个可能的对照,不是自动成立的因果证据。

两组看起来相似,为什么仍可能不可比?

无法随机时,可以寻找客群、历史表现、环境和发展趋势都比较接近,却没有接受行动的对象。

这种方法的难点,不在于表面上匹配了多少指标,而在于是否遗漏了同时影响行动分配和最终结果的重要因素。

统计调整能够处理已经记录的差异,却不能自动消除没有记录的差异。两组年龄、地区和历史业绩相近,也不代表它们在动机、资源、执行能力和未来趋势上同样接近。

表面相似,只能提高比较的可信度,不能保证反事实已经被准确还原。

只有前后数据,结论最多能说到哪里?

如果缺少同期对照,有时只能参考过去的变化趋势。但这种比较暗含了一个条件:

如果没有采取行动,原来的趋势仍会继续。

市场拐点、季节变化、竞争对手调整和政策变化,都可能使这个条件失效。

因此,只有前后数据时,最稳妥的说法通常不是"证明有效",而是:

行动之后结果发生了变化,但目前还不能排除时间趋势和其他同期因素。

我们可以报告变化,却不能自动把全部变化归到行动头上。

不能做随机实验,因果就永远无法判断吗?

吸烟与肺癌就是一个典型例子。

医学界不可能随机安排一批人长期吸烟,只能长期跟踪吸烟者和不吸烟者,观察他们的患病情况,再排查其他可能原因。

仅仅发现吸烟者更容易患肺癌,还不足以立刻证明吸烟导致肺癌。研究者还需要检查:吸烟是否发生在患病之前;这种结果能否在不同人群和研究中重复出现;吸烟越多、时间越长,风险是否越高;生物机制能否解释吸烟为什么会增加风险。

英国流行病学家奥斯汀·布拉德福德·希尔曾把这类判断归纳为一组因果准则。对普通读者来说,可以压缩成一句话:

原因要先于结果,关系要能重复;行动越强,效果也随之变化;同时还要有合理机制,并排查更有解释力的其他原因。

这些线索不能替代严格对照,也不是满足几条就自动证明因果。它们只是帮助我们判断:一个解释究竟只是听起来合理,还是已经积累了多种相互支持的证据。

单独一条证据往往很脆弱。不同方法、不同样本和不同场景得出相近结论,因果判断才会逐渐站稳。

从项目设计到工作汇报,怎样完成一次反事实检查?

反事实因果模型不只适合事后复盘,更应该在项目开始前介入。

项目还没开始,怎样先留下判断效果的条件?

活动还没上线时,就要先问清楚:方案A和方案B分别是什么,哪些用户进入哪一组,是否可以随机或分批实施,用什么指标衡量,观察多长时间,以及达到什么标准才扩大投入。

很多项目最后无法判断效果,并不是因为方案一定无效,而是从一开始就没有留下判断效果的条件。

项目开始前设计好参照,比项目结束后用更多表格解释结果更重要。

项目已经结束,没有对照组还能怎么复盘?

如果项目已经结束,却没有预留对照组,就要完成三个动作:寻找最接近的同期对象、区域或历史阶段;列出季节、市场、渠道变化和其他同期措施;根据证据质量降低结论强度。

没有可信对照时,可以说:

活动上线后转化率提高15个百分点,但由于同期环境发生变化,目前无法确认全部增量由活动造成。

而不应直接写:

活动带动转化率提升15个百分点。

两句话看起来只差几个字,承担的证据责任却完全不同。

数据变了、行动有效、值得推广,是同一件事吗?

一次完整的业务汇报,至少要区分三个问题:

1. 发生了什么变化;

2. 有多少变化可能由这项行动造成;

3. 这个效果是否值得继续投入。

红包让购买率提高,不代表一定值得推广。还要看新增毛利能否覆盖红包成本,是否只是提前了原本会发生的购买,会不会损害长期复购和价格认知。

因果效果回答的是"有没有改变",业务决策还要回答"这种改变值不值得"。

因果结果是决策的输入,不是决策本身。

从看到变化到判断因果,要走哪四步?

第一步:把问题写完整

用一句话说明:

对哪类对象,行动A相对行动B,在多长时间内,对哪个结果产生了多大平均影响?

目标人群、行动版本、参照方案、结果指标和时间窗口,都必须明确。

第二步:检查谁为什么接受了行动

随机分配、主动报名、管理者挑选和算法筛选,会形成完全不同的证据条件。

如果接受行动的人本来就更积极、更有资源或更容易成功,就不能把两组最后的全部差距算成行动效果。这一步就是在做前面说的"识别"——检查你的对照有没有资格代表那条没有发生的路径。

第三步:寻找参照,列出其他解释

能够随机时,优先随机;不能随机时,可以使用分批实施、可比对象、同期对照或历史趋势。

同时要检查:即使不采取行动,结果是否也会自然变化;同期是否发生了其他活动;两组此前的发展趋势是否不同;结果是否可能受到回归均值和随机波动影响。

第四步:让结论强度匹配证据

随机实验设计合理、执行良好,而且结果比较稳定时,可以说:

在本次目标人群和行动条件下,现有证据支持这项行动产生了平均因果效果。

如果只有部分可比数据,可以说:

结果与因果解释一致,但仍可能受到其他因素影响。

如果只有行动前后的变化,只能说:

行动之后结果发生了变化,但目前无法确认变化由该行动造成。

如果参照明显不可比,则应直接承认:

现有比较无法支持因果结论,需要重新设计验证方式。

不知道,不代表行动一定没有效果;它只意味着,现有证据还不足以把结果归到这项行动上。

周报里怎样写,才不会把变化直接写成因果?

当你需要汇报活动、培训、流程调整或管理措施的效果时,可以直接套用下面这段结构:

对______人群,方案A相对方案B,在______时间内,对______指标的平均影响估计为______。

当前结论主要依赖______条件,仍未排除______等因素。

建议下一步______,并在出现______时重新评估。

例如:

对过去30天未购买的新用户,发放10元红包相对不发红包,在未来7天内观察到3个百分点的购买率差异。当前结论依赖随机分组和执行一致,仍需结合样本波动判断稳定性。建议扩大样本继续验证,并同时测算新增毛利和长期复购。

这类表达没有"效果显著""策略成功"那么兴奋,却更接近一份能够承担决策责任的结论。

有了因果效果,为什么仍不能直接决定推广?

即使一项行动确实产生了平均效果,也要防止两种误解。

第一,平均效果不能代表每个人。红包平均提高3个百分点,可能意味着一部分用户明显受到影响,大部分用户没有变化;也可能意味着不同人群的效果方向相反。

第二,产生因果效果,不等于值得采取行动。一项培训可能提高测试成绩,却没有改善真实工作表现;一个新流程可能提高速度,却同时增加风险;一项促销可能提高短期购买率,却降低长期利润。

这个模型提高的是因果判断质量,不会替你完成全部决策。

什么时候可以暂时相信,什么时候必须改口?

反事实检查不是为了消除全部不确定性。现实中不可能等到所有其他解释都被彻底排除。

当证据强度已经与决策代价相匹配,主要的其他解释得到检查,或被明确列为剩余风险,而且继续收集信息不太可能改变当前选择时,就可以采取行动。

低风险、可逆的小尝试,可以采用较低门槛;高成本、不可逆的决策,则需要更强的对照和更长的观察。

停止分析不等于结论永久正确,只表示:

在当前信息、时间和成本条件下,这已经是足以支持行动的最好判断。

新样本得出不同结果,行动版本或目标人群发生变化,市场环境改变,实验执行出现偏差,或者长期效果与短期效果不一致时,都需要重新调用模型。

一个真正可用的思维工具,不只帮助你得出结论,还要提前规定:

什么证据出现以后,我必须改口?

下次准备邀功或追责前,先问哪两个问题?

因果是人类理解和干预世界的基本工具。没有因果,我们不知道应该做什么,也无法从行动中学习。

但因果关系不会直接写在事实表面。

哲学家休谟曾经追问:我们看到的只是两件事反复先后出现,凭什么断定前一件事造成了后一件事?随机实验、可比对照和各种统计方法,都是在这个难题之上,努力让因果判断变得更可靠。

再好的方法,也不能让同一个对象同时走过两条路。研究设计有条件,数据有误差,结论有适用范围,现实还会变化。

因果判断最容易掉进两个极端:既然无法绝对证明,就什么都不相信;只要观察到变化,就急着宣布找到了原因。

前者让人无法行动,后者让人把偶然当成规律。更稳妥的态度是:

不能不信,也不能全信。

证据弱时保留判断,证据强时采取行动,条件改变时及时更新。

最后回到开头那批红包。

随机分组后,发红包组的购买率达到35%,不发红包组达到32%。

15个百分点,是发红包组行动前后的变化;3个百分点,是两组行动后平均结果的差异。在随机分组、执行良好且样本包含足够信息的前提下,这3个百分点可以作为红包对这批目标用户平均效果的估计。

但它仍然不是一个脱离条件、适用于所有人和所有场景的固定答案。你还要继续追问:这个差异是否稳定,适用于哪些用户;换一种红包规则后是否仍然成立;增量收益能否覆盖成本;扩大投放会不会改变效果。

结果发生在行动之后,只能让你提出一个因果问题。要开始回答它,还需要明确的参照方案、可信的比较设计,以及与证据相称的结论。

下次当你因为结果变好而准备邀功,或者因为结果变差而准备追责时,不要只问"做完以后发生了什么",还要继续追问:

如果采用另一种方案,结果可能怎样?
我现在用什么证据,估计那条没有发生的路径?

如果第二个问题答不上来,你看到的可能只是变化,还不是已经得到证明的因果效果。

对谁,采取什么行动,相比什么方案,
在多长时间里,究竟改变了什么?

这是思维模型系列的第56篇。

如果你或身边的人,正准备根据一次行动后的结果追加预算、奖励团队或追究责任,可以把这篇文章转给他。不要急着争论谁应该拿走功劳,先把问题写完整。