L5.02.6local-to-global induction error设计研究

由若干局部解释归纳出的整体印象常常是错的

别名: 以偏概全的解释 · 局部当全局 · biased sample of explanations

概念解释

连续三份获批的签证申请,局部说明里都提到了「行程完整」。用户于是相信这套系统主要看行程完整。第四份行程完整却被拒,被体验成系统出尔反尔。由若干局部解释归纳出的整体印象常常是错的(local-to-global induction error):人在用一个有偏的、过小的局部样本,去估计装置的脾气。

错不在那三次局部说明各自为假,而在归纳这一步。

机制

人会把反复出现的词当成规则。局部方法在每例附近挑最能把这一例说圆的因素,挑中的往往是该例里区分度高、又好讲的那些。碰巧连续几例共享同一好讲因素,不等于该因素在分布上主导。没被挑中的因素、没被展示的失败例,不会进入印象。

界面还在筛选给谁看说明:获批的例子更常被打开、更常被转发。于是进入归纳的局部样本,进一步偏向成功叙事。LIME 对单例可以忠实,对「系统是什么性格」这个问题仍然沉默——沉默被用户用归纳填上了。

怎么研究

让人看 k 个带局部说明的例子(可控:同因素重复 vs 因素多样;只成功 vs 成败混合),然后估计特征在全体上的权重,并预测一张未见过的材料。自变量:k、因素重复度、成败混合、是否另给一条真正的全局切片。因变量:对全局权重的误差、在反例上的惊讶程度、把未展示因素判为「系统不用」的比例。

k 增大若仍是同一筛选来源,误差可以不降。要报的是样本来源,不只是条数。

边界

若模型接近全局线性,且展示的局部样本是随机的,归纳可以收敛,这条变弱。用户若从不做「它总体上怎样」的判断,错误印象不会被花出去,暂时无害。危害出现在他们用这印象去指导下一份材料、或向别人传授「通关秘籍」时。这条不把局部说明本身作废。

怎么落地

  • 在连续几条局部说明之后,不要让界面暗示「这就是规则」。若要给规则感,另给抽样过的全局切片,并写明抽样。
  • 展示局部说明时混入与当前叙事相反的例子,打断「反复出现即主导」。
  • 对「根据说明整理出的使用窍门」类衍生内容保持怀疑:它多半是局部归纳,不是系统脾气。
  • 验证:让用过若干次的人写下「它主要看什么」。把这张清单和按分布算的全局权重对比。对不上的那些词,就是被局部样本供起来的假规则。

延伸

  • 同组L5.02.1 局部解释说明单次输出 · L5.02.2 全局解释说明整体行为倾向 · L5.02.3 用户在不同场景需要不同层级 · L5.02.4 局部解释支持用户对单次结果的接受或申诉 · L5.02.5 全局解释支持用户判断是否值得继续依赖这个系统 · L5.02.7 特征重要度是相关性排序,不能被读成因果说明 · L5.02.8 开发者需要的是调试信息,终端用户需要的是行动依据,二者不可共用一份解释
  • 相邻L5.01 可解释性的类型 · L5.03 信任校准 · L5.09 过度信任与信任崩塌
  • 站内检索local-to-global induction · biased sample of explanations · overgeneralisation from instances

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L5.02.6