L1.09.4higher accuracy degrades supervision设计研究

系统正确率越高,人的实际监督质量越低,这与设置介入点的目的相反

别名: 正确率悖论 · 监督质量下降 · reliability paradox at the gate

概念解释

把人放进回路,是因为系统会错。系统越少错,人越少见到错,侦测错的技能和动机一起掉。等那个罕见错误出现,闸上坐着的是一个已经不会抓错的人。正确率反向腐蚀监督(higher accuracy degrades supervision)是介入点的悖论:越接近「几乎不需要人」,人越不能在需要时工作。

频率过高导致盖章,是量。这里是质:负例太稀,即使量不大,侦测也会钝。

机制

信号检测把漏报和虚报绑在基率上。基率趋近 1(几乎都对),最优策略向「全放行」靠。人不是在偷懒,是在对真实基率做适应。Bainbridge 说的自动化讽刺在这里落到闸上:设计把人留下来处理残差,残差又少到无法维持处理残差的能力。

产品还在用正确率当卖点。卖点越响,组织越倾向减人、减停留、减训练,监督资源跟着正确率一起被撤,悖论被管理放大。

怎么研究

同一闸,操纵系统正确率(例如 70% / 90% / 99%),在末段植入同等难度的错误。因变量:检出、停留、自信。自变量:是否穿插已知的练习负例、是否告知基率。要分开「因为累」和「因为基率适应」——低频率但班次短,仍钝,就是基率。

实验室把错误做密会掩盖悖论。现场密度才是外推对象。

边界

正确率高但错误聚类(某一类任务仍常错),人能维持对该类的警觉,悖论是局部的。正确率高且错误随机,钝化最强。人若不以抓错为任务(只签名),正确率怎么变都不会有监督质量,谈不上腐蚀。这条不处理责任有没有被说清。

怎么落地

  • 不要用「已经 99%」去减闸上的人、时间或训练。残差正是闸存在的理由。
  • 故意保留可见的、无害的负例或回放,维持侦测校准,像安全演练,而不是只在事故后复盘。
  • 把监督质量(植入错的检出)和系统正确率分开做 KPI。正确率上升而检出下降,是在买一个更盲的闸。
  • 验证:按月画正确率和植入错检出。前者升后者降,悖论已在发生。停止用正确率论证「可以少看一眼」。

延伸

  • 同组L1.09.1 介入点的位置由后果可逆性决定,不可逆动作之前必须设点 · L1.09.2 介入者需要重建当前状态所需的上下文,否则只能盲目放行 · L1.09.3 介入频率过高会使审核退化为例行盖章 · L1.09.5 把人放进回路同时把责任放到了人身上,这一转移需被明示而非默认
  • 相邻L4.02 自动化偏见 · L4.03 自动化自满 · L4.09 技能退化
  • 站内检索reliability paradox · base-rate at the gate · supervision quality

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L1.09.4