L5.08.4counterfactual gaming设计研究
反事实解释会泄露决策规则,从而可能被用于规避
别名: 规避 · 泄露规则 · gaming the cutoff
概念解释
界面说「信用卡再少一张就过」。下一批申请开始把卡藏到附属账户里,分数过了,风险没变。反事实会把决策规则漏出来,从而被用来规避(counterfactual gaming)。说明越可行动,越像一份攻略。
规避不是用户「不诚实」这么简单。系统把自己的边界画在了可改字段上,改字段就成了理性反应。
机制
反事实暴露的是边界的局部法线:往哪边走会翻盘。足够多的局部法线可以拼回规则,或拼回一套够用的操作清单。申请人、中介、爬虫都会收集这些清单。清单优化的是通过,不是状况改善——收入没涨,报表涨了。
Wachter 式说明的优点(可行动、具体)正是攻击面。模糊的全局脾气(「系统偏严」)不好拿来填表;「少一张卡」很好填。可行动性越高,规避越便宜。这和「选哪一条来呈现带有价值」不同:那里是设计者在替用户选生活,这里是用户在把选出来的路用成漏洞。
怎么研究
在可反复申请的任务上提供反事实,观察后续申请的字段如何朝说明指出的方向移动,以及移动后真实风险标签是否同步改善。自变量:反事实具体程度、是否限频、是否只给方向不给阈值。因变量:字段操纵率、通过率上升与风险改善的差、中介话术中出现说明原句的比例。
实验室一次性任务会低估规避,因为它没有「再申请一次」的回报。
边界
一次性、不可重提的决定(这次病历标签)规避窗口窄。对手已经很强(职业中介)时,不给反事实他们也会试探,给了只是降低试探成本。完全不给可行动说明会把正当补救一起关掉,需要在补救与规避之间取窗,而不是假装没有这条张力。其他条件不变是否成立,会让规避在真实世界里失效——那是下一刀。
怎么落地
- 高被操纵风险的字段(可轻松藏匿的负债、可包装的渠道)不要写进具体阈值。给方向或给需要核验的证明,不给「再少一张」。
- 对同一申请人限频:反事实不是用来迭代探边界的控制台。
- 监测说明出现之后字段分布的异常平移。平移而风险标签不动,规避已经在发生。
- 验证:用内部红队按说明去改申请、不改善真实状况。若通过率明显上升,这条说明在当攻略;改掉具体阈值或改成需核验的补救。