用户倾向接受系统建议而不复核
别名: 自动化偏见 · 盲目接受建议 · commission error
概念解释
面对一份看起来像样的系统建议,人会少做本该做的核对,直接放行。Mosier 与 Skitka 把这种倾向叫自动化偏见(automation bias):该查的线索没查,系统说对就当对,系统没报警就当没有事。它不是「懒」,是决策时把自动化当成了捷径启发式。
漏报(omission)是系统没指出来,人也不去找;错报(commission)是系统指错了,人跟着走。两种都是不复核。
机制
核对要占用工作记忆和时间。建议把「搜索空间」收成一条或几条,认知上极便宜。人一旦把系统当成比自己可靠的信息源,核对就变成对权威的不礼貌,而不是任务的一部分。界面若把建议做成已经填好的表单、已经勾上的选项、已经写好的邮件,修改成本看上去高于接受成本,偏见就被界面结构放大。
偏见发生在一次决策里:建议出现,人点头。它不需要「好久没出错」才能启动。新用户第一次见到一份流畅的草稿,就会放行。
怎么研究
经典范式是决策支持:有正确建议、错误建议、以及系统沉默但世界里有异常。人同时能看到原始数据。因变量:跟随错误建议的比率(commission)、系统未标出时漏掉异常的比率(omission)、核对原始数据的次数与时长。自变量:建议的呈现方式(填好 vs. 并列选项)、是否强制打开原始材料、时间压力。
眼动或点击日志用来区分「看过原始数据」和「据此改了主意」。只看过仍跟着建议走,才是偏见而不是没看见。
边界
人自己完全没有独立信息源时,不复核不是偏见,是无材料。建议明显荒谬且与领域常识冲突时,偏见会减弱,但不能指望荒谬来当防护。这条不处理长期无故障之后监控变懒——那是自满,时间尺度不同。也不处理正确率升高之后偏见如何变本加厉。
怎么落地
- 建议不要预填成「已经替你做好」。默认呈现原始对象,建议作为可点开的第二层,而不是已勾选项。
- 对高后果项要求一次指向原始材料的动作(打开原文、核对金额)才能放行,动作必须碰到内容,不能是空白勾选。
- 验证:夹一条与原始数据明显冲突的建议。若放行率接近无冲突建议,界面就在奖励不复核。再看放行前是否发生过对原始对象的操作——没有,核对就不存在。