L4.02.2bias grows with automation reliability设计研究

偏见随系统正确率上升而加强

别名: 高正确率强化偏见 · reliability-driven compliance · 越准越不查

概念解释

系统越经常给对,人越不核对下一次。正确率在这里不是安全垫,是偏见的燃料。偏见随可靠度上升(bias grows with automation reliability)描述的是单次决策里「这次还要不要打开原文」的阈值被过去的命中率抬高了。

产品用准确率当卖点时,卖的其实也包括更少的复核。

机制

人在校准启发式:最近几次对了,下一次核对的期望收益下降。工作负荷一高,最先被丢掉的就是核对,因为核对在高正确率下几乎从不「赢」。于是错误建议一旦出现,正落在核对已被省掉的位置上。这和「长时间无故障后监控变弱」共用一条学习曲线,但观测窗口不同:这里看的是建议被接受的比率如何随近期命中变化,不是看监控扫描的频率如何随安静时间衰减。

界面若在连续成功之后把核对入口藏得更深(「你已信任,为你简化」),等于把这条学习曲线做成了功能。

怎么研究

先让人经历一段高命中的建议,再插入错误建议,对比一开始就会插入错误的基线。自变量:此前命中率、连续命中的长度、错误建议的出现位置。因变量:错误跟随率、核对动作是否仍发生、主观上「还需要看原文吗」。

关键是把近期命中与长期基线分开操作。只比较「准的系统」和「不准的系统」会把自满、信任和偏见缠在一起;要看的是同一个人在命中变高之后,核对有没有掉下来。

边界

正确率低到建议经常出丑时,人会反向低估,出现拒绝使用,偏见不是主问题。正确率的主观估计若被校准信息钉住(定期看到失败样本),上升趋势会被压住。这条不讨论解释文字能不能救人,也不讨论偏见作为一次性启发式本身如何发生。

怎么落地

  • 不要用连续成功去收起核对入口。命中率升高时,高后果项的核对步骤保持原样。
  • 定期把一次被拦住的错误建议回放给操作者看,用来重置「最近都对」的启发式,而不是用来羞辱。
  • 验证:在一段高命中之后插入一条冲突建议,比较插入前后的核对率和放行率。核对掉了而放行没掉,就是正确率在给偏见加油。

延伸

  • 同组L4.02.1 用户倾向接受系统建议而不复核 · L4.02.3 提供解释不必然减弱偏见
  • 相邻L4.03 自动化自满 · L5.09 过度信任与信任崩塌 · L1.09 人在回路的介入点
  • 站内检索automation bias · reliability and compliance · misuse of automation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L4.02.2