P4.02.1Impossibility of fairness设计研究

不同公平定义之间存在数学冲突

别名: 公平的不可能性 · fairness impossibility · incompatibility of fairness criteria

概念解释

算法语境下的「公平」不是一个概念而是一族互不相同的统计定义:校准(对同一风险分数,各群体的实际违约/复犯/患病率相同)、错误率均衡(假阳性率与假阴性率在各群体相同)、均等化几率(真实标签给定时不区分群体)、人口均等(各群体获得正预测的比例相同)。公平的不可能性结果(impossibility of fairness)指:当不同群体的基础比率不同且预测不完美时,这些定义中的若干对无法同时满足——满足其一必然违反其二。这不是工程还没做好,而是数学上不存在同时满足的解。

机制

冲突的根源在条件概率的结构。基础比率不同意味着同一分数在不同群体携带不同的真实含义:若强制各群体同分数同含义(校准),则高分数在基础比率高的群体必然抓到更多真实阳性,假阳性率随之不同;若强制假阳性率相等,就必须给基础比率高的群体设更高门槛或给低者降门槛,分数的含义就不再一致。只有两种退化情形可以逃出冲突:预测完美到不出错,或各群体基础比率本就相同。而每一种定义各自对应一种道德立场——校准适合风险告知(不吓唬低风险人群),错误率均衡适合惩罚性决定(错抓的代价由群体均摊),选择哪个定义,是替产品选一种立场,不是选一个更「正确」的公式。

怎么研究

不可能性定理已从数学上给出证明(针对校准与错误率均衡等准则的两两不相容),研究者可据此推导自己系统中哪些准则对可以共存。实证路线是对已部署系统做审计:按群体分错误率,检验违反了哪条准则、差距多大;变量包括群体基础比率差、模型判别力与决策门槛。方法论注意点:基础比率通常不可直接观测(真实犯罪率、真实风险没有地面真值),审计只能用代理结果,代理本身可能带偏——「逮捕记录≠犯罪」这一类失真会在群体比较里放大。

边界

不可能性只在「基础比率不同 + 预测不完美」时成立:二分类、单一决策点的标准设定。不适用的情况包括:预测质量极高时冲突趋近消失(但商业模型很少达到);决策可以不用分数而用个体化程序(人工复核、举证)时,统计准则之间的张力让位于程序设计;多阈值系统通过给不同群体设不同门槛可以满足某一侧准则,但会引入「同样分数不同待遇」的新争议,只是把冲突换了位置。

怎么落地

  • 在需求阶段写下所选准则及其对应的伤害模式:这个决定的错误落在哪侧、谁承担,据此选校准或错误率均衡。
  • 记录被放弃的准则与放弃理由,作为决策文档的一部分;上线后按放弃的准则复查,确认代价仍在可接受范围。
  • 部署前用真实群体基础比率做仿真,验证所选准则在当前数据下到底能不能近似满足,而不是默认满足。
  • 验证:输出一张分群体的分数—结果对照表,任何一列的条件比率跨群体偏离超过预设阈值即触发复核。

延伸

  • 同组P4.02.2 群体公平与个体公平可能不兼容 · P4.02.3 公平目标需在设计前明确选择
  • 相邻P4.09 算法公平与差异化影响 · P4.03 数据代表性
  • 站内检索impossibility of fairness · calibration · equalized odds

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/P4.02.1