L1.04.3high-confidence error harm设计研究

高置信的错误比低置信的错误危害更大

别名: 高置信错误 · 自信的错 · confident mistakes

概念解释

错了就是错了——对事实核查来说成立。对行动来说不成立。标着「低把握」的错,人还会去看一眼;标着「高把握」的错,人会直接用。高置信错误(high-confidence error)的危害来自它关掉了核查,而不是来自它比低置信错误更错。

同样的假数字,绿灯比黄灯传得远。

机制

置信在界面里被当成是否投入注意力的开关。高档意味着「你可以省掉复核」,这正是显示它的理由。开关一旦接到一个错的命题上,省掉的复核就是危害的放大器:错误进入邮件、进入病历、进入报价,带着系统的背书。低置信错误往往停在草稿里。

自动化偏见文献里,人对高可信外观的建议复核更少。生成界面用流畅句子加上高分,是双重可信外观。Skitka、Mosier 的线在这里换成了置信条:条越满,手工检查越少,漏过的错就越贵。

怎么研究

植入同等严重的错误,一半配高分,一半配低分(或不确定标记)。看检出率、是否发出、发出后的传播。自变量:分数档、是否强制停顿、错误所在是否是数字/人名等难检细节。因变量:漏检、外发、事后归责。

严重性要匹配真实后果。实验室里「选错一张图」会低估高置信错误,因为没有外发通道。

边界

低置信若被界面画得像失败,人会放弃整段本可修补的内容,那是另一种成本,但不否定高置信错误更贵。用户是该领域专家且以找茬为任务时,分数档的差距会缩小。完全不显示置信时,危害改由文风和排版来调节——流畅的错仍然很贵,只是不再经过置信这个开关。这条假定界面在显示某种把握;它不讨论校准怎么做。

怎么落地

  • 高档的准入必须严:宁可把许多对的题标成中档,也不要把错的题放进高档。高档是特权,不是默认。
  • 高档结果若含数字、日期、人名、金额,仍强制一项廉价核查(回源、二次计算、或「请确认这三个数」),不要让高档免除所有检查。
  • 一旦发现高档错误,把它当作事故而不是普通 miss:回溯为什么分数会高,并下调该区域的显示档。
  • 验证:在预发流量里人工抽检高档样本。高档错误率必须显著低于中低档;否则把高档从产品里拿掉,只留「未分档」。漏检的高档错误比同等数量的低档错误优先修。

延伸

  • 同组L1.04.1 置信度与正确率不是同一件事 · L1.04.2 未校准的置信度会误导判断
  • 相邻L1.08 置信度呈现及其误导 · L4.02 自动化偏见 · L3.03 幻觉与事实核查负担
  • 站内检索high-confidence error · confident mistake · automation bias

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L1.04.3