局部解释说明单次输出

概念解释

一张度假照被标成「海滩」。局部解释只对这一张说话：沙色区域、地平线、没有室内家具，于是标签落在海滩。它不承诺下一张夜景、下一张泳池也会用同一套权重。局部解释说明的是单次输出（local explanation）：范围锁在眼前这一例，不外推成系统的性格。

Ribeiro 等人的 LIME 是这一层的典型做法——在这一例附近拟合一个可读的代理，而不是画出整个模型。

机制

复杂模型在输入空间里弯折，同一特征在不同邻域可以朝相反方向推。局部方法只在当前点附近采样、加权、拟合，得到的是这块邻域里暂时站得住的说法。用户看见的「因为沙子」，是对这一次分类的就近说明，不是「本系统凡见沙子都判海滩」。

把局部说明当成产品说明书，是范围错误。范围一错，人会用这一例去预测下一例，然后在下一例摔跤。局部方法存在的理由，正是全局曲面太皱，不能用一个故事走完全程。

怎么研究

固定一次输出，提供局部代理（如 LIME 式邻域拟合）或不提供，再给同一模型的新样本，看人能否预测新标签、能否指出本例中起作用的区域。自变量：有无局部说明、邻域宽度、新样本与本例的距离。因变量：对本例因素的指认、对新样本的预测校准、把本例规则误用于远处样本的次数。

邻域必须真的局部。采样若散到很远，名义上的局部解释已经在泄漏全局，任务就被污染。

边界

模型若接近全局线性，局部与全局会重合，这条的范围警告变弱。用户的任务若只是处理眼前这一条（通过或打回这张图），局部就是正确的粒度。若任务是决定要不要上线这套分类器，局部不够。这条不把局部解释写成可申诉的程序，也不讨论特征重要度是不是因果。

怎么落地

• 标题写清范围：「关于这张图的说明」，不要写成「本系统如何识别场景」。
• 局部因素旁边给一句限度：换一张图，这些因素可能不再成立。
• 不要把本例的因素列表做成可复用的检查清单，除非你验证过它在邻域外仍稳。
• 验证：给用户看完局部说明，立刻出示一张表面相似、标签不同的图。若他们坚持用刚看到的因素去解释新图且自信很高，范围被读成了全局。

延伸

• 同组：L5.02.2 全局解释说明整体行为倾向 · L5.02.3 用户在不同场景需要不同层级 · L5.02.4 局部解释支持用户对单次结果的接受或申诉 · L5.02.5 全局解释支持用户判断是否值得继续依赖这个系统 · L5.02.6 由若干局部解释归纳出的整体印象常常是错的 · L5.02.7 特征重要度是相关性排序，不能被读成因果说明 · L5.02.8 开发者需要的是调试信息，终端用户需要的是行动依据，二者不可共用一份解释
• 相邻：L5.01 可解释性的类型 · L5.08 反事实解释 · L5.05 透明度的适度原则
• 站内检索：local explanation · LIME · instance-level explanation