X3.03.3Calibrated uncertainty expression设计研究

不确定时需表达不确定

别名: 不确定性外显 · 置信表达 · uncertainty communication

概念解释

校准的不确定性表达(calibrated uncertainty expression)让人知道机器人对感知、解释或计划没有充分把握,并说明需要等待、确认还是接管。它不是把内部概率原样展示,而是把不确定程度转换为与任务后果相匹配的人类行动建议。

机制

自动系统总会在分布边缘产生不确定输出。若界面只给确定答案,人会把表面流畅当成高置信;若所有情况都泛泛警告,又会产生告警疲劳。经过校准的分级表达把模型证据、后果成本和人的可介入性结合,使信任随真实可靠性变化。

怎么研究

可操纵置信水平、表达形式和错误代价,测量用户选择确认、接管或继续的校准程度,以及决策时间、过度依赖和不必要介入。需要先检验模型置信是否与真实正确率校准,否则只研究界面包装。概率、类别和行动建议应分别比较。

边界

某些模型分数不具概率含义,不能直接显示为“成功率”。高风险低频事件中,历史校准也可能数据不足。不确定表达不能把决策责任不当转移给不了解系统的人;没有可行动选项时,展示精细数值只会增加焦虑。

怎么落地

  • 先按真实结果校准置信,再把区间映射到继续、减速、请求确认和安全停止。
  • 指明不确定来源与用户可改变的信息,例如目标遮挡或指令存在两个候选。
  • 用不同后果案例测量适当依赖曲线,并同时统计低置信误报造成的额外介入。

延伸

  • 同组X3.03.1 拟人化表达不得夸大理解程度 · X3.03.2 假装听懂比明说不懂更有害
  • 相邻X3.07 决策依据的可解释 · X3.08 不确定性的表达
  • 站内检索uncertainty communication · confidence calibration · appropriate reliance

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/X3.03.3