L5.02.5global explanation for continued reliance设计研究
全局解释支持用户判断是否值得继续依赖这个系统
别名: 继续依赖 · 是否还用 · reliance judgement
概念解释
医院要决定下个季度还用不用脓毒症预警。这个决定不是针对昨晚那一次警报,而是针对装置在本科室患者上的脾气:漏报有多密、误报有多吵、在哪类病人上更差。全局解释的用处是支持「还值不值得继续依赖」(global explanation for continued reliance)。
单次说明再清楚,也填不满这个决定。清清楚楚的一次命中,不能证明下个季度还该接。
机制
继续依赖是对未来一串输出的赌注,不是对已发生的那一次的签字。赌注需要的是倾向:在即将到来的分布上,它大概会怎样。群体切片、时段稳定、失败模式的清单,是这类判断的原料。一次局部热力图告诉你昨晚为什么响,不告诉你响的基率会不会把夜班拖垮。
Lee 与 See 把信任说成对自动化的态度,需要跟可靠度对齐。对齐不能靠回顾最生动的那一次,那一次的生动程度与未来频率无关。全局说明若缺席,依赖决策会改用轶事——恰好最近三次都对,或恰好昨天一次大漏报。
怎么研究
让负责人在看过全局倾向(分病种的漏报/误报、近三个月趋势)或只看过若干被解释过的单次警报之后,选择续约、限范围使用或停用。自变量:全局切片是否与本科室分布一致、是否包含失败模式。因变量:选择与真实可靠度的匹配、被单次轶事拉动的幅度、限范围时切分是否落在真正更差的子群。
续约意愿本身不是终点。要看选择是否落在与数据相符的那一档。
边界
个人临时用一次的工具没有「继续依赖」决策,全局说明可以省略。若系统每天重训、分布漂移很快,静态全局说明会把过期脾气当成仍可依赖的证据,比没有更危险。这条不处理信任被一次大错摧毁之后怎么恢复,那是另一类时间过程。
怎么落地
- 在启用、续约、扩大权限的确认里放全局切片:本场景近窗的命中、漏报、误报,按用户在意的子群切开。
- 不要用「看,这一次它解释得多清楚」来推动续约。把那一次链回趋势:它是典型成功、典型失败,还是罕见事件。
- 提供限范围选项,让依赖决策可以落到子群,而不是只有全开或全关。
- 验证:拿着你的全局面板,问负责人「下个季度还用吗,用在谁身上」。若答案只能复述昨晚那次警报,面板没有在支持依赖判断。
延伸
- 同组:L5.02.1 局部解释说明单次输出 · L5.02.2 全局解释说明整体行为倾向 · L5.02.3 用户在不同场景需要不同层级 · L5.02.4 局部解释支持用户对单次结果的接受或申诉 · L5.02.6 由若干局部解释归纳出的整体印象常常是错的 · L5.02.7 特征重要度是相关性排序,不能被读成因果说明 · L5.02.8 开发者需要的是调试信息,终端用户需要的是行动依据,二者不可共用一份解释
- 相邻:L5.03 信任校准 · L5.09 过度信任与信任崩塌 · L5.01 可解释性的类型
- 站内检索:
continued reliance·global explanation·trust and reliability