访问 denied：定量算法审计的有意义的数据访问

研究背景与问题

• 问题与挑战: 作者指出第三方算法审计在算法问责方面具有重要潜力，但由于数据访问受限，审计通常依赖于低质量、不完整的数据，阻碍了研究的可信度。审计人员无法获得所需的样本大小、关键特征或模型输出，从而导致公平性评估中的重大不确定性。
• 重要性: 随着自动化决策系统广泛应用于刑事司法、健康保险和社会福利等关键领域，这些系统的问责性和公平性受到越来越多的关注。现有的技术和政策框架通常未能有效保障对这些系统的独立和深入审计。
• 研究动机: 尽管已有法规（如欧盟的《数字服务法》）呼吁算法审计，但重要的量化公平性评估仍缺乏标准化的方法和可用的高质量数据。隐私保护机制（如差分隐私和合成数据）被提议为潜在解决方案，但其对审计结果的影响尚未系统评估。

解决方案

• 方法与策略: 作者研究三种数据访问场景对公平性指标的影响：

  1. 访问聚合统计数据（例如混淆矩阵）。
  2. 访问包含模型输出的个体级数据。
  3. 无模型访问但具备个体级数据（通过模型复现）。

  在每种场景下，作者模拟可能的数据质量问题（如样本规模低、特征缺失、不平衡缺失值、差分隐私、合成数据），以量化这些因素对公平性评估的影响。

• 创新性:

  1. 系统性地比较不同数据访问策略和质量损失情况下的公平性评估准确性。
  2. 结合实际数据（刑事司法领域的再犯预测和医疗保险覆盖预测）进行模拟实验，评估隐私保护与分析可靠性间的平衡。
  3. 提出差分隐私和数据最小化原则在具体审计任务中的适用性。

• 实施步骤与技术:

  1. 采用两个真实世界数据集进行算法模拟（NIJ再犯预测和ACS公共医疗覆盖）。
  2. 建立并训练用于分类的机器学习模型（如XGBoost）。
  3. 制定五项具体实验（样本减少、特征缺失、不平衡缺失值、差分隐私聚合、合成数据生成），以探索不同数据条件对公平性指标可靠性的影响。
  4. 使用公平性指标（如统计平等差距、平均机会差距）量化不同审计条件下的偏差。

研究成果

• 具体成果:

  1. 聚合数据访问（场景A）: 差分隐私的混淆矩阵在足够大的样本和适当的隐私预算下能够实现高度准确的公平性评估，但当样本规模过小时（如小于1,000），结果可靠性显著下降。
  2. 访问个体级数据（场景B和C）: 缺失关键特征或数据不完整会显著降低公平性指标的准确性，并可能导致错误解释（如低估或错误归因偏差）。
  3. 合成数据: 合成数据未能可靠反映真实数据中的群体差异，尤其会掩盖弱势群体的不公正情况，导致高比例的类型二错误。
  4. 模型复现（场景C）: 通过模型复现进行审计在理论上可行，但需要比直接访问模型输出更多的高质量数据和计算资源。即使如此，数据质量问题仍对可靠性造成严重影响。
  5. 不同保护方法的比较: 差分隐私在适当设置参数时能平衡隐私保护与审计可靠性，而数据最小化原则在移除低相关特征时对公平性评估影响较小。

• 与现有方法的比较优势: 提供了量化基准，阐明在数据访问和隐私保护机制下进行公平性审计的优缺点，可为政策制定者和技术开发者提供指导。

• 局限性: 本研究主要聚焦于二元分类任务和二元群体差异，未涵盖多分类器或更复杂的公平性评估场景。此外，模型复现方法依赖于理想化的条件，如对模型参数的准确了解。

• 未来方向: 推荐研究者探索多分类器和交叉性公平性问题下的数据需求，开发更健壮的隐私保护机制，并推进政策层面对可信第三方审计的支持性框架。

总结

这项研究明确了当前算法审计中数据访问不足的问题，并通过模拟实验验证了不同数据访问策略和隐私保护技术的有效性和局限性。它强调提高数据访问质量和灵活性的重要性，同时指出隐私保护与公平性评估的平衡是可实现的。