群体公平与个体公平可能不兼容
别名: 群体公平 · 个体公平 · fairness through awareness
概念解释
群体公平(group fairness)在统计层面要求:不同群体在结果分布上地位相当(录取率、错误率、风险分数分布)。个体公平(individual fairness)在个案层面要求:处境相似的个体得到相似对待,无论其属于哪个群体。两者看似是同一理想的不同表述,实际上可以互相矛盾:为了把一个群体的录取率补齐到目标水平而对边缘个体做群体内调整,必然出现「两个申请者条件几乎相同、结果不同,只因为群体身份不同」的个案。个体公平的规范表述称为「基于觉知的公平」(fairness through awareness):定义一个任务相关的相似度,要求决策在该度量下是利普希茨连续的——近邻的人得到相近的结果。
机制
两种公平的冲突源于它们约束的对象不同:群体约束作用在结果分布上,个体约束作用在成对个案上。当群体间基础比率不同时,让分布对齐的任何机制都等价于按群体身份移动部分个体的结果,被移动的个体恰好破坏个体约束。个体公平自身另有一道工程难题:相似度必须针对任务定义(贷款场景中「相似」指还款能力相关特征,而非消费品味),而这个定义本身承载价值判断且难以辩护——定义错了,个体公平只是把偏见写进度量。群体公平则牺牲了组内异质性:少数群体内部的分层(新移民与本地世居者)在群体统计里不可见,交集位置(年长女性、少数族裔残障者)的个体在两层划分里都被平均掉。
怎么研究
两种公平各自的成立度可以分别度量:群体侧按群体报告结果分布与错误率;个体侧构造最近邻对(在任务相似度下距离小于阈值的成对个体),度量其结果差异,差异大即违反个体公平。研究常做的事是同时计算两类指标并报告其张力:满足群体配额的系统中,近邻对的结果差异有多大。方法论注意点:相似度度量的选择主导个体侧结论,必须报告度量定义及其稳健性(换一种合理度量,结论是否翻转);群体划分粒度越细、交集越多,群体侧的统计功效越低,小样本交集的指标要给出不确定度。
边界
不兼容不是常态而是特定条件下的结果:群体基础比率接近、或模型判别力强到个案排序基本正确时,两类约束可以同时近似满足。个体公平在高风险个案决策(信贷、量刑建议、医疗分诊)里直觉最强,但也最难定义相似度;群体公平适合审计与问责——外部审查者无法复核每个个案,只能比对分布。对人群极小的产品(企业内部工具),群体统计不稳定,个体侧反而是唯一可行的检验。
怎么落地
- 先决定问责层级:这个决策会被谁、用什么方式审查——外部按分布审查就选群体侧,逐案申诉机制就选个体侧,两者写进需求而不是留给算法团队默认。
- 若走个体侧:书面定义任务相关的相似度(特征、权重、排除项),并评审该定义本身的价值立场;近邻对差异作为常规监控指标。
- 若走群体侧:声明组内异质性的已知盲区,对小群体补充交集层面的分层报告,防止「配额达标、组内最弱者受损」。
- 验证:同时输出两类指标至少一次——群体分布表 + 近邻对结果差异;让张力可见,再论证为何接受其中一侧的代价。