由若干局部解释归纳出的整体印象常常是错的
别名: 以偏概全的解释 · 局部当全局 · biased sample of explanations
概念解释
连续三份获批的签证申请,局部说明里都提到了「行程完整」。用户于是相信这套系统主要看行程完整。第四份行程完整却被拒,被体验成系统出尔反尔。由若干局部解释归纳出的整体印象常常是错的(local-to-global induction error):人在用一个有偏的、过小的局部样本,去估计装置的脾气。
错不在那三次局部说明各自为假,而在归纳这一步。
机制
人会把反复出现的词当成规则。局部方法在每例附近挑最能把这一例说圆的因素,挑中的往往是该例里区分度高、又好讲的那些。碰巧连续几例共享同一好讲因素,不等于该因素在分布上主导。没被挑中的因素、没被展示的失败例,不会进入印象。
界面还在筛选给谁看说明:获批的例子更常被打开、更常被转发。于是进入归纳的局部样本,进一步偏向成功叙事。LIME 对单例可以忠实,对「系统是什么性格」这个问题仍然沉默——沉默被用户用归纳填上了。
怎么研究
让人看 k 个带局部说明的例子(可控:同因素重复 vs 因素多样;只成功 vs 成败混合),然后估计特征在全体上的权重,并预测一张未见过的材料。自变量:k、因素重复度、成败混合、是否另给一条真正的全局切片。因变量:对全局权重的误差、在反例上的惊讶程度、把未展示因素判为「系统不用」的比例。
k 增大若仍是同一筛选来源,误差可以不降。要报的是样本来源,不只是条数。
边界
若模型接近全局线性,且展示的局部样本是随机的,归纳可以收敛,这条变弱。用户若从不做「它总体上怎样」的判断,错误印象不会被花出去,暂时无害。危害出现在他们用这印象去指导下一份材料、或向别人传授「通关秘籍」时。这条不把局部说明本身作废。
怎么落地
- 在连续几条局部说明之后,不要让界面暗示「这就是规则」。若要给规则感,另给抽样过的全局切片,并写明抽样。
- 展示局部说明时混入与当前叙事相反的例子,打断「反复出现即主导」。
- 对「根据说明整理出的使用窍门」类衍生内容保持怀疑:它多半是局部归纳,不是系统脾气。
- 验证:让用过若干次的人写下「它主要看什么」。把这张清单和按分布算的全局权重对比。对不上的那些词,就是被局部样本供起来的假规则。
延伸
- 同组:L5.02.1 局部解释说明单次输出 · L5.02.2 全局解释说明整体行为倾向 · L5.02.3 用户在不同场景需要不同层级 · L5.02.4 局部解释支持用户对单次结果的接受或申诉 · L5.02.5 全局解释支持用户判断是否值得继续依赖这个系统 · L5.02.7 特征重要度是相关性排序,不能被读成因果说明 · L5.02.8 开发者需要的是调试信息,终端用户需要的是行动依据,二者不可共用一份解释
- 相邻:L5.01 可解释性的类型 · L5.03 信任校准 · L5.09 过度信任与信任崩塌
- 站内检索:
local-to-global induction·biased sample of explanations·overgeneralisation from instances