L1.09.4higher accuracy degrades supervision设计研究
系统正确率越高,人的实际监督质量越低,这与设置介入点的目的相反
别名: 正确率悖论 · 监督质量下降 · reliability paradox at the gate
概念解释
把人放进回路,是因为系统会错。系统越少错,人越少见到错,侦测错的技能和动机一起掉。等那个罕见错误出现,闸上坐着的是一个已经不会抓错的人。正确率反向腐蚀监督(higher accuracy degrades supervision)是介入点的悖论:越接近「几乎不需要人」,人越不能在需要时工作。
频率过高导致盖章,是量。这里是质:负例太稀,即使量不大,侦测也会钝。
机制
信号检测把漏报和虚报绑在基率上。基率趋近 1(几乎都对),最优策略向「全放行」靠。人不是在偷懒,是在对真实基率做适应。Bainbridge 说的自动化讽刺在这里落到闸上:设计把人留下来处理残差,残差又少到无法维持处理残差的能力。
产品还在用正确率当卖点。卖点越响,组织越倾向减人、减停留、减训练,监督资源跟着正确率一起被撤,悖论被管理放大。
怎么研究
同一闸,操纵系统正确率(例如 70% / 90% / 99%),在末段植入同等难度的错误。因变量:检出、停留、自信。自变量:是否穿插已知的练习负例、是否告知基率。要分开「因为累」和「因为基率适应」——低频率但班次短,仍钝,就是基率。
实验室把错误做密会掩盖悖论。现场密度才是外推对象。
边界
正确率高但错误聚类(某一类任务仍常错),人能维持对该类的警觉,悖论是局部的。正确率高且错误随机,钝化最强。人若不以抓错为任务(只签名),正确率怎么变都不会有监督质量,谈不上腐蚀。这条不处理责任有没有被说清。
怎么落地
- 不要用「已经 99%」去减闸上的人、时间或训练。残差正是闸存在的理由。
- 故意保留可见的、无害的负例或回放,维持侦测校准,像安全演练,而不是只在事故后复盘。
- 把监督质量(植入错的检出)和系统正确率分开做 KPI。正确率上升而检出下降,是在买一个更盲的闸。
- 验证:按月画正确率和植入错检出。前者升后者降,悖论已在发生。停止用正确率论证「可以少看一眼」。