L4.02.3explanation does not necessarily reduce automation bias设计研究

提供解释不必然减弱偏见

别名: 解释救不了偏见 · XAI 与自动化偏见 · explanation fails to force checking

概念解释

在建议旁边加上理由、特征重要度或一段「因为……」,并不等于人会因此去核对。解释可以被当成建议的装饰,用来更快地接受,而不是用来挑战。解释不必然减弱自动化偏见(explanation does not necessarily reduce automation bias)把「可解释」和「会复核」拆开:前者是系统输出的一种形状,后者是人有没有做独立检查。

流畅的解释往往让错误建议更好看,偏见的入口因此更宽,不是更窄。

机制

核对问的是「世界是不是这样」;解释问的是「系统为什么这么说」。两道问题用的材料不同。解释如果来自模型自己的自我报告,它与建议同源,不能当独立证据。人却容易把「有理由」读成「已核实」。界面把解释放在建议正下方、用肯定句、用和品牌一致的语气,阅读顺序就变成:建议 → 理由 → 放行,原文根本排不进去。

解释还可以占用本该用来看原始对象的时间。在短窗口里,多一段文字等于少一次核对。

怎么研究

同一套对/错建议,比较无解释、真解释、与建议一致但与世界冲突的伪解释。因变量:错误跟随率、是否打开原始材料、决策时间、主观「已经理解所以可以过」。自变量:解释是否与建议同源、解释是因果还是相关性排序、解释长度。

要分开「读了说明」和「查了世界」。口头报告「有了解释所以放心」如果同时核对率下降,解释就是在帮偏见,不是在拆偏见。

边界

当解释指出的是人可以立刻改的输入(反事实、可行动的条件),并且人真的去改了再看结果,解释才可能打断跟随。那已经接近一次实验,不是旁注。完全不可解释的建议至少不会假装已核实。这条不处理偏见会不会因正确率上升而加强,只处理「加了说明」这件事本身。

怎么落地

  • 不要把解释当作核对的替代。放行条件仍是碰到原始对象,解释最多是可选的旁注。
  • 解释与建议同源时,明确标成「系统的说法」,不要排成证据列表。
  • 短窗口里优先保证原文可见,而不是保证理由读完。理由读不完可以折叠;原文不能折叠到放行之后。
  • 验证:给一条带漂亮理由、但与原文冲突的建议。若放行率高于无理由的同样冲突,解释就是在加固偏见。把理由拿掉再测一次核对率——核对升了,原先的解释就占掉了核对时间。

延伸

  • 同组L4.02.1 用户倾向接受系统建议而不复核 · L4.02.2 偏见随系统正确率上升而加强
  • 相邻L5.01 可解释性的类型 · L5.03 信任校准 · L5.08 反事实解释
  • 站内检索automation bias · explainability and compliance · automation misuse

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L4.02.3