L5.08.4counterfactual gaming设计研究

反事实解释会泄露决策规则,从而可能被用于规避

别名: 规避 · 泄露规则 · gaming the cutoff

概念解释

界面说「信用卡再少一张就过」。下一批申请开始把卡藏到附属账户里,分数过了,风险没变。反事实会把决策规则漏出来,从而被用来规避(counterfactual gaming)。说明越可行动,越像一份攻略。

规避不是用户「不诚实」这么简单。系统把自己的边界画在了可改字段上,改字段就成了理性反应。

机制

反事实暴露的是边界的局部法线:往哪边走会翻盘。足够多的局部法线可以拼回规则,或拼回一套够用的操作清单。申请人、中介、爬虫都会收集这些清单。清单优化的是通过,不是状况改善——收入没涨,报表涨了。

Wachter 式说明的优点(可行动、具体)正是攻击面。模糊的全局脾气(「系统偏严」)不好拿来填表;「少一张卡」很好填。可行动性越高,规避越便宜。这和「选哪一条来呈现带有价值」不同:那里是设计者在替用户选生活,这里是用户在把选出来的路用成漏洞。

怎么研究

在可反复申请的任务上提供反事实,观察后续申请的字段如何朝说明指出的方向移动,以及移动后真实风险标签是否同步改善。自变量:反事实具体程度、是否限频、是否只给方向不给阈值。因变量:字段操纵率、通过率上升与风险改善的差、中介话术中出现说明原句的比例。

实验室一次性任务会低估规避,因为它没有「再申请一次」的回报。

边界

一次性、不可重提的决定(这次病历标签)规避窗口窄。对手已经很强(职业中介)时,不给反事实他们也会试探,给了只是降低试探成本。完全不给可行动说明会把正当补救一起关掉,需要在补救与规避之间取窗,而不是假装没有这条张力。其他条件不变是否成立,会让规避在真实世界里失效——那是下一刀。

怎么落地

  • 高被操纵风险的字段(可轻松藏匿的负债、可包装的渠道)不要写进具体阈值。给方向或给需要核验的证明,不给「再少一张」。
  • 对同一申请人限频:反事实不是用来迭代探边界的控制台。
  • 监测说明出现之后字段分布的异常平移。平移而风险标签不动,规避已经在发生。
  • 验证:用内部红队按说明去改申请、不改善真实状况。若通过率明显上升,这条说明在当攻略;改掉具体阈值或改成需核验的补救。

延伸

  • 同组L5.08.1 反事实解释说明改变哪些输入会改变结果 · L5.08.2 只有当被指出的输入是用户可改变的时,解释才具有可行动性 · L5.08.3 同一结果存在多组反事实,选择呈现哪一组本身带有价值判断 · L5.08.5 反事实成立的前提是其他条件保持不变,实际中很少满足
  • 相邻L5.05 透明度的适度原则 · L5.02 局部解释与全局解释 · L3.02 来源标注
  • 站内检索counterfactual gaming · recourse and gaming · decision boundary leakage

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L5.08.4