L4.02.1automation bias设计研究

用户倾向接受系统建议而不复核

别名: 自动化偏见 · 盲目接受建议 · commission error

概念解释

面对一份看起来像样的系统建议,人会少做本该做的核对,直接放行。Mosier 与 Skitka 把这种倾向叫自动化偏见(automation bias):该查的线索没查,系统说对就当对,系统没报警就当没有事。它不是「懒」,是决策时把自动化当成了捷径启发式。

漏报(omission)是系统没指出来,人也不去找;错报(commission)是系统指错了,人跟着走。两种都是不复核。

机制

核对要占用工作记忆和时间。建议把「搜索空间」收成一条或几条,认知上极便宜。人一旦把系统当成比自己可靠的信息源,核对就变成对权威的不礼貌,而不是任务的一部分。界面若把建议做成已经填好的表单、已经勾上的选项、已经写好的邮件,修改成本看上去高于接受成本,偏见就被界面结构放大。

偏见发生在一次决策里:建议出现,人点头。它不需要「好久没出错」才能启动。新用户第一次见到一份流畅的草稿,就会放行。

怎么研究

经典范式是决策支持:有正确建议、错误建议、以及系统沉默但世界里有异常。人同时能看到原始数据。因变量:跟随错误建议的比率(commission)、系统未标出时漏掉异常的比率(omission)、核对原始数据的次数与时长。自变量:建议的呈现方式(填好 vs. 并列选项)、是否强制打开原始材料、时间压力。

眼动或点击日志用来区分「看过原始数据」和「据此改了主意」。只看过仍跟着建议走,才是偏见而不是没看见。

边界

人自己完全没有独立信息源时,不复核不是偏见,是无材料。建议明显荒谬且与领域常识冲突时,偏见会减弱,但不能指望荒谬来当防护。这条不处理长期无故障之后监控变懒——那是自满,时间尺度不同。也不处理正确率升高之后偏见如何变本加厉。

怎么落地

  • 建议不要预填成「已经替你做好」。默认呈现原始对象,建议作为可点开的第二层,而不是已勾选项。
  • 对高后果项要求一次指向原始材料的动作(打开原文、核对金额)才能放行,动作必须碰到内容,不能是空白勾选。
  • 验证:夹一条与原始数据明显冲突的建议。若放行率接近无冲突建议,界面就在奖励不复核。再看放行前是否发生过对原始对象的操作——没有,核对就不存在。

延伸

  • 同组L4.02.2 偏见随系统正确率上升而加强 · L4.02.3 提供解释不必然减弱偏见
  • 相邻L4.03 自动化自满 · L1.09 人在回路的介入点 · L5.03 信任校准
  • 站内检索automation bias · commission error · omission error

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L4.02.1