负责任数据科学行为干预措施的效果评估

文献标题

Evaluating Behavior Change Interventions for Responsible Data Science

出版信息

• 主题领域: 负责任的数据科学与人工智能/机器学习工作流中的行为改变干预。
• 关键词: 负责任的数据科学，行为改变干预，公平性，Aequitas，动机启动，认知负荷，COM-B框架，伦理AI，公平性指标，数据科学工作流。

背景与问题

• 问题/挑战: 尽管人们已经意识到算法带来的危害，但负责任的数据科学（RDS）实践的采用仍然不足。现有方法主要关注结果指标（如公平性指数），却未能解决塑造伦理决策的行为和认知过程。
• 意义: 在医疗、金融和刑事司法等高风险领域，确保AI/ML系统的公平性和问责性至关重要，因为算法偏见可能导致系统性歧视。
• 动机与相关工作: 先前的研究开发了公平性工具和指标，但往往忽视了影响其采用的人为因素。COM-B框架强调需要解决能力、机会和动机，以实现持续的行为改变。然而，目前缺乏对RDS中行为改变干预（BCI）的实证评估。

解决方案

• 提出的方法: 本研究评估了两种行为改变干预：(i) Prime，一种使用与公平性相关叙述的动机启动干预；(ii) Aequitas，一种公平性审计工具包，以促进数据科学工作流中的负责任行为。
• 创新点:
  1. 首次对RDS中的行为改变干预进行实证评估，比较动机启动与技术工具。
  2. 开发了一种混合方法框架，结合行为观察、公平性指标、认知负荷评估和定性分析。
  3. 量化了公平性工具中的认知负荷权衡，为未来工具设计提供信息。
  4. 确定了个人联系在增强伦理动机中的作用。
• 程序和关键技术:
  • 参与者（N=12，具有5年以上数据科学经验）在三种条件下完成了两个任务（信用风险和收入分类）：对照组（无干预）、Prime和Aequitas。
  • 使用涵盖预处理、处理中和后处理阶段的实践清单来衡量负责任行为。
  • 分析了公平性指标、模型准确性、认知负荷（NASA-TLX）和参与者访谈。

结果

• 具体发现:
  • Prime将负责任行为从μ=2.8（对照组）提高到μ=5.7（σ=0.75，p<0.01）。
  • Aequitas进一步将负责任行为提高到μ=8.1（σ=1.34，p<0.01）。
  • Aequitas显著改善了公平性指标（错误发现率比率减少到μ=1.18，p<0.01），而Prime在公平性改善方面表现出非显著趋势。
  • 两种干预均未影响模型准确性（Prime: μ=0.60 vs. 对照组: μ=0.59；Aequitas: μ=0.58 vs. 对照组: μ=0.61）。
  • Aequitas增加了认知负荷（例如，心理需求：μ=1.67到μ=3，p=0.02），而Prime未增加。
• 相对于基线的优势:
  • 两种干预在促进负责任行为方面均优于对照组。
  • Aequitas在公平性改善方面优于Prime。
• 实验/评估:
  • 使用N=12名参与者的混合方法研究，采用平衡的被试内设计。
  • 评估指标包括负责任行为评分、公平性指标、准确性和NASA-TLX认知负荷评分。
• 局限性与未来工作:
  • 样本量较小（N=12），限制了统计效能。
  • 控制的实验环境可能无法完全反映现实世界的复杂性。
  • 未来工作应探索混合干预、长期采用以及促进公平性的组织激励。

总结

本研究评估了两种行为改变干预——Prime（动机启动）和Aequitas（公平性工具包）——以促进负责任的数据科学实践。两种干预均提高了负责任行为，其中Aequitas显著改善了公平性指标，但增加了认知负荷。Prime提升了动机，但未影响准确性或认知负荷。研究结果强调了在技术工具与动机支持之间实现平衡的重要性，并表明个人对公平性场景的联系能够增强干预效果。未来研究应探索混合方法、长期影响以及嵌入公平性于数据科学工作流的系统性支持。