飞了八万多次没有致命事故,为什么仍不能证明它最安全?
协和客机飞了二十四年,零死亡事故。它被许多人视为世界上最安全的客机之一。
2000年7月25日,一架协和客机在巴黎坠毁。事故发生前,协和的历史记录是八万多次飞行、零次致命事故;事故发生后,记录立刻变成八万多次飞行中发生一次致命事故。飞机的真实风险不会在一夜之间突然改变,改变的是我们观察到的频率,以及我们据此作出的判断。
飞了八万多次没有致命事故,究竟证明它非常安全,还是仅仅说明样本还不足以稳定估计一种极低概率的风险?
零次事故可以是一项真实记录,却还不等于零风险。
那数据多了就好了吗?直觉上当然是这样。但"数据多了"和"数据对了",是两回事。
为什么只看一次容易看错,看得多了才更接近真实水平?
1713年出版的《猜度术》中,瑞士数学家雅各布·伯努利证明了大数定律的早期形式。他回答的核心问题是:如果一枚硬币正面概率是固定的但未知的,你抛一次两次,结果完全靠运气;但如果你抛足够多次,正面出现的比例会越来越接近真实概率。不是恰好等于,而是越来越接近。
如果同一个随机过程被有效重复很多次,少数偶然结果对整体判断的影响会越来越小,样本平均或事件频率会逐渐接近长期真实水平。这就是大数定律。
大数定律的真正机制,不是"补偿",而是"稀释"。
刘嘉在《概率论22讲》中打过一个比方:一勺糖放进一杯水,很甜;放进大海里,几乎尝不出味道。糖还在,只是水太多了,它的影响被削弱了。
同样,抛硬币假设前十次全是正面,后来又抛了一千次,其中正反面大致各占一半。即使最开始的十次极端结果仍然保留,它们对总比例的影响也会明显下降。早期的极端结果没有消失,只是它们在越来越大的总样本中所占的权重变小了。随着后续独立观察增加,整体结果也越来越不容易被少数偶然结果主导。
当然,这只有在后续观察仍来自同一个相对稳定的过程时才成立。过程一旦变了,新旧数据就未必还能放在一起。
连续十次都是正面,为什么下一次仍不一定是反面?
注意,这不是说硬币会记住之前的结果,也不是说连续出了十次正面之后,下一次出反面的概率会变高。那是赌徒谬误,不是大数定律。
一个广为流传的蒙特卡罗赌场案例中,轮盘曾连续二十六次出现黑色。赌客们认定红色"该"来了,纷纷押红,最终损失惨重。
殊不知,轮盘没有记忆。每一次转动,红色和黑色出现的概率都不会因为前面连续开出黑色而改变。那些赌客犯了两个错:一是以为罕见发生后对立面会"补偿"回来;二是把罕见理解成了"不可能"。罕见不等于不可能,更不等于"对面一定来"。
大数定律描述的是大量重复中的长期趋势,不承诺任何单次结果。如果轮盘本身公平、规则没有变化,转动次数足够多时,红色和黑色各自出现的频率会逐渐接近各自的长期概率,但这不告诉你第一万零一次是红是黑。把长期趋势当成单次预测,就是赌徒谬误。
到这里,第一层已经讲清楚了:大数定律能让长期平均更稳定,却不能预测下一次结果。 但现实中的数据,还有三道更隐蔽的关卡:数量、独立性和共同偏差。
十个用户里四个人购买,为什么还不能说长期转化率是40%?
再来看一个场景。某产品上线第一天,来了十个访客,其中四个购买,转化率40%。团队兴奋了——40%的转化率,这模式跑通了。
但这40%只是十个样本的描述,不是长期转化率。即使这十名访客就是你的目标用户,十个样本仍然太少——长期真实转化率可能明显低于40%,也可能明显高于40%,十个样本还没有能力把这个范围压得足够窄。
如果这十名访客本身又都是核心粉丝或补贴用户,问题就不只是样本少,而是样本方向也偏了。
样本少,是看不清;样本偏,是看错了。
这是后面还要解决的另一层问题。但大数定律不会直接告诉你,十个、百个还是一万个样本就一定够。需要多少样本,取决于结果本身有多大波动、你能容忍多大误差,以及判断错了要付出多大代价。
一万次转发都是真的,为什么仍不能代表一万个人都认可?
数量够了,但记录之间真的独立吗?来看另一个场景。比如一篇文章被转发了一万次。一万次转发,看起来是个巨大的样本。但这些转发可能来自同一个大账号的一次推送,沿着同一条传播链扩散,触达的是高度相似的用户群体。表面数量是一万,真正独立的信息可能远少于一万。
一万次转发能够准确说明发生了一万次转发行为,却不能自动证明这些转发背后有一万份各自独立的判断。
表面样本数告诉你有多少条记录;有效样本量更关心这些记录带来了多少新增信息。同一来源的重复,只会把数字做大;不同来源的观察,才更可能增加新证据。
保险行业也是同样的逻辑:保单再多,如果所有风险都会被同一场灾害同时触发,数量就无法带来真正的风险分散。
十万人都参与了,为什么调查仍可能测错了东西?
前两关都过了:样本数量足够,记录之间也相对独立。是不是就万事大吉了?仍然不是。只要问题问偏了,十万人也可能稳定地给出一个偏离真相的答案。
你有没有过这样的经历:看到一份"十万人参与"的调查就觉得很权威,后来发现问卷设计本身就有引导性——"您是否支持这项惠及民生的政策?"十万人填写后,答案可能非常稳定,但它稳定测到的,未必是人们对政策的真实态度,而可能是人们对这句引导性提问的反应。
样本扩大,可以让你更精确地测量一个指标,却不能保证这个指标就是你真正想知道的东西。
大数定律能够削弱随机波动,却不能消除系统偏差。如果你的抽样本身有偏差,或者你的测量方式有问题,数据越多,你不是越来越接近真相,而是越来越稳定地待在偏差里。即使过去的数据没有偏差,规则变了以后,旧样本也可能不再适用。
说到这里,你可能会想:大数定律只是帮我检查数据有没有问题吗?不只是。它也是一种面对随机世界的行动策略:不要用一次成败给方法定性,要让它接受足够多次有效重复的检验。
一组数据靠不靠谱,先问自己这四个问题
第一,这些数据能不能放在一起?
产品改版前后的转化率,补贴期和自然增长期的数据,它们来自同一个过程吗?人群是否可比,指标口径是否相同,机制是否已经变化。不能确认来源一致,先别急着求平均。把不同机制产生的数据揉成一个平均数,数字可以很精确,含义却可能已经消失。能分层的先分层——新用户和老用户、补贴流量和自然流量、一线城市和下沉市场,不要一上来就粗暴求总平均。
先分层,再平均。
第二,这些记录提供了多少新增信息?
表面样本数和有效样本量是两回事。一万次转发可能只来自一个传播链。先识别高度相关和重复来源,再判断你手里究竟有多少相对独立的信息。增加样本不等于把同一件事重复记录很多遍,而是增加新的、具有独立信息的观察。不是统计同一个用户的十次点击,而是观察更多独立用户的完整行为。
增加样本,不是把同一件事重复记录很多遍。
第三,当前样本允许你得出多强的结论?
三次投资盈利,可能是策略有效,也可能是市场整体上涨。十个样本里的40%转化率,真实水平可能更高,也可能更低。样本不够的时候,可以形成初步判断,但必须保留较大的不确定性。给结论设等级:
个案,只能说明这一次。
多次重复,才能形成线索。
线索持续稳定,才可能成为初步规律。
换了环境仍然成立,才有资格称为稳定估计。用线索的证据说出规律的结论,是最常见的错误。
结论的强度,不能超过证据的强度。
第四,所有数据是否在共同犯同一种错?
抽样有没有偏差,问题有没有引导性,指标有没有选错。一份调查只在App内推送,触达的全是活跃用户,不活跃的根本没看到问卷——十万人填写,答案可能非常稳定,但稳定测到的是活跃用户的态度,不是全部用户的态度。
如果所有数据都朝同一个方向偏,数量再多也修不回来。
数据越多,只能减少偶然,不能自动纠正错误
用整体的确定性对抗局部的随机性——单次结果充满偶然,但只要过程相对稳定、观察有效,长期水平才更有可能逐渐显现。大数定律给人的不只是耐心,也是一份警告:
偶然的错误会摇摆,系统性的错误却可能随着数据增加,显得越来越稳定。
它给人的也不只是一套检查数据的方法,更是一种行动策略:不要只追求下一次必中,要建设一个可以不断获得下一次机会的系统。当你无法控制一次结果时,就去设计一组可重复、可比较、可承受的行动。数据越多,只能减少偶然,不能自动纠正错误。但如果你把每一次行动都当成一个有效样本,而不是一次定生死的赌注,长期分布终会替你说话。
模型档案卡
大数定律(Law of Large Numbers)
一句话定义
在过程相对稳定、观察有效的条件下,同一个随机过程被有效重复很多次,少数偶然结果对整体判断的影响会越来越小,样本平均或事件频率会逐渐接近长期真实水平。
它解决什么问题
当你无法控制一次结果时,怎样通过有效重复获得更稳定的证据。
它能做什么
降低随机波动对判断的干扰,让长期水平逐渐显现。
它不能做什么
不能消除抽样偏差、测量错误和结构变化;不能预测下一次结果;不会自动告诉你多少样本才够。
最容易被忽略的边界
数据多不等于数据对。样本太少、记录不独立、所有人都在犯同一种错,都会让"数据很多"变成假象。
核心功能
既防止用少数案例推断长期规律,也防止用表面大样本掩盖系统偏差。
这是思维模型系列的第70篇。
如果你身边有人正准备用一份"十万人参与"的调查、一万次转发,或者三个月的业绩变化做重大判断,可以把这篇文章转给他。不是提醒他少看数据,而是提醒他先问一句:
这些数据真的能放在一起吗?它们是在增加新的证据,还是只是在重复同一种偏差?