差异化影响由结果分布判定而非由意图判定
别名: 差异化影响 · 结果检验 · outcome test
概念解释
差异化影响(disparate impact)是反歧视法与算法审计共用的判定框架:无论行为者意图如何,只要某项做法使受保护群体在结果上显著劣于他人,即构成需要辩护的差别对待。判定对象是结果的群体分布,不是动机、不是声明、也不是输入的清洁程度。这一框架源于对隐性歧视的回应——现代系统的歧视很少写在意图里,却稳定地写在结果分布里;「我们没有任何歧视意图」因此不是辩护,成问题的做法需要给出与必要性相关的正当理由。
机制
结果判定之所以必要,是因为意图路径在三处失效。不可观测:意图藏在分散的决定与配置里,外部审查者几乎无法取证;而结果分布公开可测。意图与效果脱钩:善意设计可以产生歧视性结果(便利性优化恰好有利于城市用户),恶意也可以藏在合规话术下;只有结果承载伤害的实际重量。规模化:单个决定的微小偏差(差一个阈值、少一次曝光)意图层面不可见,乘以数百万次决策后成为群体间的结构性差距——这类差距只能从分布上发现。结果判定的实操形态是比率检验:受保护群体的正面结果比率显著低于对照群体(监管惯例里常以五分之四作为警戒线),即触发举证责任转移——做法方必须证明该做法与业务的必要性直接相关且无更少差别的替代方案。
怎么研究
审计方法即统计检验:按群体计算正面结果率、错误率、分数分布,报告比率与置信区间;比率跌破警戒线即差异化影响的初步证据。更深一层用结果检验与风险调整:比较不同群体在相同真实风险水平下的处理结果,分离「反映真实差异的分布」与「系统附加的差异」。部署前后对照给出因果方向。方法论注意点:群体划分依赖敏感属性数据,缺失时的代理归类误差计入不确定度;「显著」的判定受样本量影响(小群体的微小差距不显著、大群体的微小差距显著),统计检验要与实质影响量并报;多重组比较带来多重检验问题,需校正。
边界
结果判定确立的是「需要辩护」,不是「必然违法或必然不公」:做法方可以以必要性抗辩(真实职业资格、安全要求),法院与审查者再权衡。差异化影响框架也有其批评——纯结果导向可能强迫机构做人群配额式的机械调整,反而与个体公平冲突;因此成熟的做法是结果检验触发、正当理由审查、替代方案评估三步走,而非仅看比率。意图也并非全无意义:故意歧视在法律与伦理上是更重的过错,只是它不再是不构成差别对待的挡箭牌。
怎么落地
- 上线前做结果分布的沙盘推演:用历史数据模拟各群体的通过率、错误率,比率接近警戒线即要求必要性论证,写进发布文档。
- 生产环境按群体持续监控结果比率,跌破阈值自动告警并冻结相关阈值的进一步调优,直至完成正当理由审查。
- 对每项与人群相关的阈值与规则维护「必要性档案」:为什么是这个值、与业务目标的证据关系、评估过的更少差别替代方案。
- 验证:年度复检一次完整的结果分布审计,对照历史趋势;新增特征或规则后加做一次,确认无新引入的分布偏移。