图片

你打开邮箱,发现一封重要邮件躺在垃圾邮件箱里。你等了三天才发现它,对方却以为你故意不回复。

你检查过滤器的设置,发现保护级别被调到了"高"。微软在Outlook帮助页中明确提醒:保护级别设得越高,合法邮件被判为垃圾邮件的风险也越大。

这意味着,系统更容易把邮件判进垃圾箱,却不一定更善于区分垃圾邮件和正常邮件。你以为拦下的邮件越多,过滤器就越准确;其实,变化的可能不是识别能力,而只是判断门槛。

这在邮箱里只是麻烦,但同样的判断逻辑一旦出现在医院里,代价可能就是一条生命。

在一些重症或监护病区,一张病床周围的设备一天可能发出数百次报警。一项为期12天的医院报警分析记录到,平均每张病床每天约350次。美国医疗机构评审联合委员会估计,85%—99%的临床报警不需要医护人员采取干预措施。医护人员面对的不是偶尔响起的一次警报,而是几乎不停的报警声。

长期暴露在这样的声音中,医护人员可能调低音量、改变报警限值,逐渐延迟响应,甚至关闭部分报警功能。

然后,真正的危险来了。

2013年,美国医疗机构评审联合委员会在一份安全警报中引用过这样一起真实案例:一名60岁患者因头部受伤住进ICU。监护设备持续提示他的心率快速上升、血氧不断下降,但工作人员没有及时响应。大约一小时后,当系统发出患者已经停止呼吸的危急报警时,工作人员才作出响应。患者因缺氧出现不可逆的脑损伤,几天后,家属决定撤除生命支持。

这类事故不能简单归咎于医护人员疏忽。有些报警限值设得过紧,患者指标稍有波动就会触发;有些默认设置并不适合具体患者;电极接触不良、传感器位置不当或设备故障,也会产生大量无需处理的报警。从2007年起,临床报警问题曾连续多年位列美国非营利医疗安全机构ECRI发布的"十大医疗技术危害"榜单前列。

真正危险的,不是报警数量本身,而是大量误报和无需处理的报警,不断占用医护人员有限的注意力。

这里有两层机制。

第一层来自信号检测论:在识别能力不变的情况下,降低报警门槛,通常会让更多真实危险被发现,漏掉的危险更少;与此同时,更多正常情况也会被误报。

第二层来自报警疲劳:在需要人来处理报警的系统里,大量误报和无需行动的提醒会持续消耗注意力与信任,使真正的报警也得不到及时响应。到了整个"检测—响应"系统这一层,原本为了减少漏报而降低门槛,反而可能制造出新的漏报。

报警变多,是系统更会识别风险了,还是门槛降低了?

信号检测论源于通信与雷达检测问题:屏幕上的光点可能来自敌机,也可能只是杂波。20世纪50年代,它被引入心理学,用来研究人在信号与噪声混在一起时如何判断。1966年,戴维·格林和约翰·斯威茨出版《信号检测论与心理物理学》,系统阐述了这一框架。

它最重要的贡献,是把两个经常被混在一起的问题区分开来。

第一是识别能力,理论上叫"辨别力":你能不能分清信号和噪声。雷达操作员能否从杂波中辨认出真实目标,医生能否从模糊影像中发现异常,邮件过滤器能否区分垃圾邮件和正常邮件,考验的都是辨别力。

第二是报警门槛,理论上叫"响应标准":证据达到什么程度,你才愿意判断"有信号"。门槛低,只有少量证据就报警;门槛高,证据足够强才报警。

这两件事必须分开。一个系统可以辨别力很强,却把门槛设得很低:它能看出大部分差别,但只要出现一点可疑证据就报警,因此误报较多。另一个系统也可以辨别力一般,却把门槛设得很高:它很少误报,却会漏掉更多真实信号。

在真实信号出现频率不变时,一个系统报警多不多,由两件事共同决定:它能否分清信号与噪声,以及它多容易判断"有信号"。如果比较的是不同场景,还要考虑第三件事:真实信号原本有多常见。

人们很容易把"报警变多"理解成"识别能力提高"。这是信号检测论首先要纠正的误区。一个系统判断"有信号"的次数更多,不一定意味着它更善于区分真假,也可能只是报警门槛更低。

频繁报警,不等于识别能力强。

为什么只看报对了多少次,还不能判断系统靠不靠谱?

图片

判断一个报警系统是否可靠,不能只看它报对了多少次。

信号检测论把所有判断分成四种:


你判断有信号
你判断没有信号
实际有信号
命中
漏报
实际没有信号
误报
正确拒绝

"正确拒绝"是指实际没有信号,你也正确判断为没有。命中率看的是:所有真实信号中,有多少被成功发现;误报率看的是:所有没有信号的情况中,有多少被错误地报成有信号。

这里还要分清两个容易混淆的数字:"所有报警中,有多少不需要处理",和"所有没有信号的情况中,有多少被错误地判为有信号",不是一回事。信号检测论中的误报率,指的是后者。

最容易被注意的是命中:系统究竟报对了多少次。但评价系统是否可靠,不能只看命中率。命中率提高时,误报率也可能同时上升;只看前者,你可能把"门槛降低"误认为"识别能力提高"。

邮件过滤器拦下了大量垃圾邮件,却也误拦了大量正常邮件。只看它拦下了多少垃圾邮件还不够,还要看它误拦了多少正常邮件。

乳腺癌筛查更能说明误报如何累积。一项基于美国乳腺癌监测联盟数据的队列研究估计:女性连续十年每年接受一次乳腺X线筛查,超过一半可能至少经历一次"假阳性召回"——检查提示可能存在异常,需要回医院进一步检查,但最终并未发现癌症。

这并不意味着乳腺癌筛查不该做,也不能据此认定筛查门槛一定太低。它说明的是:每次筛查都存在误报的可能,重复次数越多,至少遇到一次误报的概率就越高。评价筛查制度,不能只看发现了多少癌症,也要看到假警报如何随着重复检查不断累积。

门槛太低会误报,太高会漏报,到底该怎么定?

报警门槛不是越高越好,也不是越低越好。怎么设置,取决于漏报和误报中,哪一种后果更难承受。

在辨别力不变的情况下,降低门槛通常会减少漏报、增加误报;提高门槛则通常会减少误报、增加漏报。你能做的,是在两种错误之间作出更合适的取舍。

门槛怎么定,先问三件事:真正的信号有多常见?漏报一次的后果有多严重?误报一次的代价有多大?

火灾漏报的代价,通常远高于一次误报,因此火灾报警器会倾向于采用较低的门槛。但门槛也不能低到频繁误报,让人拆掉电池或不再响应;否则,原本为了减少漏报的系统,又会制造新的漏报。

还有一个容易被忽略的问题:设置门槛的人,往往不是承担错误代价的人。设备厂商、医院管理者或系统设计者为了降低漏报风险,可能把报警门槛设得很低;但承受注意力消耗的是医护人员,承担最终后果的是患者。平台降低内容审核门槛,承担误删、限流等代价的可能是创作者。

因此,设置门槛时不能只考虑系统设计者想规避什么风险,还要追问:误报和漏报的代价,最终分别由谁承担?

调整门槛还有一个前提:检测工具和判断者必须具备基本的辨别力。如果传感器本身很难分清信号和噪声,调整门槛只能重新分配误报和漏报,不能让系统真正看得更清楚。

检测工具能不能分清信号与噪声是一回事,报警门槛设在哪里是另一回事。改善检测能力与调整报警门槛,是两类不同的问题。

判断出了错,到底是分不清,还是门槛设错了?

回到你自己的工作和生活。

你有没有遇到过这种情况:团队把任何小异常都列为"风险",被拦下的事项越来越多;事后核查却发现,误报增加了,真正风险的命中率并没有提高。这时,变化的可能不是识别能力,而是团队降低了判定风险的门槛。

你也可能遇到这种情况:体检指标出现异常,医生建议进一步复查。一次异常不等于已经确诊。还要看测量是否可靠、异常标准如何设置、这种疾病在同类人群中有多常见,以及复查能否提供新的证据。

这两个场景都提醒你:"异常被报出来了",只说明系统判断了"有",还不能证明它更善于区分真假。

信号检测论要求你做的第一件事,不是笼统地"提高警觉"或"降低标准",而是先诊断:一套判断系统反复出错,问题主要出在辨别力不足,还是门槛设置不合理?

先别只看报警总数,要把命中率和误报率放在一起比较。

在待测对象和检测条件大致相同的前提下,降低报警门槛,通常会让命中率和误报率一起上升,这说明主要变化的是门槛。如果一个系统能在误报率相同的情况下命中更多真实信号,或者在命中率相同的情况下减少误报,才有理由认为它的辨别力提高了。

报警总数本身,不能证明系统变聪明了。

如果问题出在辨别力,也就是系统很难区分信号和噪声,就要改善传感器、补充有效信息、训练判断者,或者换用更准确的检测工具。

如果问题出在门槛,也就是系统具备一定的识别能力,但报警过多或过少,就要结合真实信号出现的频率,以及漏报和误报的代价来调整标准。当漏报的代价远大于误报时,通常应适当降低门槛;当误报的代价更大时,则应适当提高门槛。

ICU的问题不能简单地用"把门槛调高"解决。它可能同时涉及报警限值过紧、传感器干扰、缺少针对具体患者的设置,以及报警没有清晰分级。真正要减少的,是技术性误报和无需行动的报警,而不是把所有报警一概压低。

所以,当报警越来越多时,先别急着认定系统的识别能力提高了。在待测对象和检测条件大致相同的前提下,同时比较命中率与误报率,才有可能判断变化主要来自辨别力,还是来自门槛。

为了一个都不漏,为什么最后连真正的警报也没人信了?

在需要人来响应的系统里,当误报和无需行动的报警不断消耗注意力与信任,真正的信号也可能被当成噪声。

好的报警系统,不是报警越多越好,而是当真正的危险来临时,人们仍然愿意相信它、立即响应它。

模型档案卡

信号检测论(Signal Detection Theory)


标准定义
当信号与噪声产生的证据相互重叠、难以完全区分时,信号检测论用两个维度分析判断:辨别力,即能否区分信号与噪声;响应标准,即证据达到什么程度才判断"有信号"。移动响应标准会改变命中、漏报、误报和正确拒绝的组合;合理的响应标准,还取决于信号的基准率和各种结果的代价。


核心功能
第一,将辨别力与响应标准分开,防止把门槛降低造成的报警增多误认为识别能力提升。第二,用命中、漏报、误报和正确拒绝构成评估判断质量的基础框架。第三,结合信号的基准率与不同错误的代价,帮助判断者选择更合适的响应标准。


代表性著作
戴维·格林(David M. Green)与约翰·斯威茨(John A. Swets),《信号检测论与心理物理学》(Signal Detection Theory and Psychophysics),1966。该理论源于通信、雷达检测与统计决策研究,两位作者的著作对其在心理物理学和人类判断中的应用进行了系统阐述。

这是思维模型系列的第72篇。

如果你的团队正在不断增加审核、检查和提醒,可以把这篇文章转给一起制定规则的人。继续增加规则之前,先问一句:

我们是在提高识别能力,还是只是在降低报警门槛?