L5.02.7feature importance is not causation设计研究

特征重要度是相关性排序,不能被读成因果说明

别名: 特征重要度 · 相关当因果 · importance is not cause

概念解释

排行榜第一名写着「年龄」。用户读成「因为你年纪大所以被拒」。排行榜做的是:在这次打分或这批样本里,年龄这个变量和输出一起动得最厉害。特征重要度是相关性排序,不是因果说明(feature importance is not causation)。一起动,不必是「改这个就会改结果」,更不必是「系统以这个为由在对待你」。

把排序当成理由,申诉和改材料都会找错对象。

机制

重要度分数来自扰动、拆解或代理模型里的权重:拿掉或打乱一列,输出晃得有多厉害。晃得厉害,说明这一列带着信息,信息可以是真原因,也可以是替身——年龄代理了职级、邮编代理了收入、词频代理了文体。排序不承诺干预。用户的默认读法却是干预:「重要」等于「我改它就能翻盘」,也等于「他们用这个歧视我」。

局部和全局都可以产出这种排序。范围不管这件事。LIME 的局部权重同样是邻域里的相关,不是「若你换掉这个像素,标签必变」的保证——后者是另一类问法。

怎么研究

出示同一重要度列表,配或不配「这是相关,不是原因」的注解,再问两件事:若只改这一项,输出会不会变;系统是否在以这一项为由对待申请人。自变量:列表的视觉(条形排行 / 因果箭头)、注解、是否同时给一个可干预的对照。因变量:因果误读率、按排序去改输入后的实际成功率、不公平感。

实际干预必须真的跑模型。不能用问卷里的「我觉得会变」代替。

边界

在因素互相独立、且重要度来自真正的干预实验时,排序可以接近因果,这条的警告收窄。用户若只把列表当「值得核对的线索」而不是「改它就能翻盘」,误读的成本下降。排行榜若画成箭头从特征指向决定,几乎一定会触发因果读法。这条不讨论该给局部还是全局。

怎么落地

  • 标题用「与本次输出一同变化较大的项目」,不要用「原因」或「因为」。禁止把条形图画成从左指向结果的箭头。
  • 若某项不可干预(年龄、族裔代理变量),明确写「改不了,也不应被当成你要去改的对象」。
  • 需要可行动的因果句时,另做干预或反事实,不要把重要度列表改个标题冒充。
  • 验证:指着第一名问「如果只改这一项,这次结果会怎样」和「系统是不是因为这一项才这样对你」。两个「是」而你们没有干预证据,排行榜在当因果说明书。

延伸

  • 同组L5.02.1 局部解释说明单次输出 · L5.02.2 全局解释说明整体行为倾向 · L5.02.3 用户在不同场景需要不同层级 · L5.02.4 局部解释支持用户对单次结果的接受或申诉 · L5.02.5 全局解释支持用户判断是否值得继续依赖这个系统 · L5.02.6 由若干局部解释归纳出的整体印象常常是错的 · L5.02.8 开发者需要的是调试信息,终端用户需要的是行动依据,二者不可共用一份解释
  • 相邻L5.08 反事实解释 · L5.01 可解释性的类型 · L5.05 透明度的适度原则
  • 站内检索feature importance · correlation is not causation · attribution versus intervention

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L5.02.7