儿童福利工作者如何减少算法决策中的种族差异

文献标题

How Child Welfare Workers Reduce Racial Disparities in Algorithmic Decisions

文献信息

• 主题领域: 人工智能与社会工作；算法公平性；人机协作决策机制。
• 关键词: 人机协作、算法偏差、儿童福利、算法辅助决策、种族差异、算法公平性、预测风险模型、社会服务、AI伦理、机器学习。

研究背景与问题

• 作者发现的问题或挑战:
  • 算法在辅助决策中可能带来或加剧种族偏差。
  • 在儿童保护呼叫筛选场景中，如何处理算法和工作人员之间的协作对决策质量产生重要影响，而这方面研究较少。
  • 算法在许多社会决策场景中被期望增强公平性与决策效率，但实际是否如此仍需验证。
• 问题的重要性:
  • 种族偏差在儿童保护系统中的存在可能导致资源分配不公和对家庭的过度或不足干预。
  • 机器学习工具的普及使得这些偏差问题更为复杂，影响到高风险用户群如儿童和弱势家庭。
• 研究动机与相关工作:
  • 相关研究指出算法常因为训练数据中包含偏差而导致不公平结果。
  • 工作人员与算法协作对减少决策种族差异的可能机制仍缺乏详细分析和验证。

解决方案

• 提出的方法或解决方案:
  • 开展混合方法研究，结合定量数据分析与定性访谈，深入探讨算法辅助工具（AFST）对儿童保护筛选决策种族差异的影响。
  • 定量分析算法单独决策与工作人员与算法协作决策的种族差异。
  • 通过情境调查与半结构化访谈，分析工作人员如何在实际决策中调整算法建议以降低种族差异。
• 解决方案的创新之处:
  • 提供了关于“人—算法协作是否能改善或恶化种族差异”的实证性分析，为算法在高风险决策中的设计和实践提供指导。
  • 强调工作人员如何通过综合信息、辨别算法局限性和调整算法建议来减少种族不公平。
• 实施步骤与关键技术:
  • 定量分析：比较算法单独决策与工作人员协作的决策数据（2016-2018年）。
  • 定性研究：实际观察与访谈工作人员，分析如何使用算法工具（AFST）。
  • 评价指标：种族差异（筛选率）、决策准确性（基于后续再报告或儿童被安置的数据）。

研究成果

• 具体成果:
  • 工作人员与算法协作的决策相比于算法单独决策减少了种族筛选率的差异，从20%差距减少到9%。
  • 工作人员通过整体性分析风险、识别和补偿算法的局限性，减少了算法带来的种族偏差。
  • 定量分析显示，虽然算法预测的目标准确性高于工作人员，但工作人员的决策目标更贴近实际儿童保护需求。
• 现有解决方案的优势:
  • 综合了算法的预测能力和工作人员的实践经验，决策具有更高的公平性。
  • 工作人员在高风险决策上的主动性能够纠正算法可能存在的不公平性。
• 实验或评估结果:
  • 工作人员协作决策的准确性低于算法，但种族准确性差异显著减少（从13.5%减少到5.4%）。
  • 算法的不公平分数分配导致了对系统参与度高家庭的过度筛选，而工作人员对此进行了有效调整。
• 局限性与未来方向:
  • 准确性测量方法的局限性：算法预测“重复报告”和“安置”的结果不完全反映工作人员决策的实际目标。
  • 呼叫筛选数据仅分析到2018年，不能完全捕捉随政策调整后的影响。
  • 未来需解决算法与工作人员目标不一致的问题，如重新设计预测结果的目标定义以对齐工作人员的实际需求。

讨论与设计启示

对决策公平性与实践的影响

1. 工作人员的引入有效减少了算法带来的种族不公，说明全面依赖算法进行自动决策可能加剧种族问题。
2. 人-算法协作对减少种族差异的机制复杂且具有实践价值，需要更多情境化的研究支持。
3. 推动儿童福利算法设计从公平性和准确性平衡出发，使工作人员的反馈得以整合。

对算法设计与政策制定的启示

1. 应谨慎考虑算法在存在种族不平等领域中的独立使用。
2. 提供解释性AI接口，帮助工作人员理解并调整算法建议。
3. 鼓励协作决策与多专业合作以减少个人偏差。
4. 增加决策团队多样性和相关实践经验以增强公平性。

局限与未来工作

1. 进一步探讨工作人员决策减少种族差异的性质：区分正当的与非正当差异减少。
2. 重新定义目标预测任务以更贴近实际需求。
3. 扩展研究至其他高风险社会决策场景以验证结果普适性。

通过这些探索，改进决策工具的设计与使用，推动高风险社会领域的公平与效率提升。