工作流程中的公平性：大型科技公司的机器学习从业者如何处理推荐系统中的公平性

文献标题

Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

出版信息

• 主题领域: 大型科技公司推荐系统（RS）中的公平性实践。
• 关键词: 公平性、推荐系统、机器学习、偏差、多利益相关方、工作流程、组织挑战、公平性指标、跨团队协作、人机交互（HCI）。

背景与问题

• 问题/挑战: 尽管关于机器学习公平性的学术研究已经非常广泛，但将这些理论转化为推荐系统（RS）的实际应用仍然充满挑战。RS从业者在定义公平性、平衡多利益相关方的需求以及应对动态环境中的公平性问题方面面临困难。
• 重要性: 推荐系统广泛应用于电子商务和社交媒体等高风险领域，其中的偏差可能导致显著的社会影响，例如垄断行为或意识形态极化。
• 动机与相关工作: 之前的研究主要集中于通用机器学习系统、分类模型和自然语言处理（NLP）的公平性问题，但推荐系统特有的挑战——如多利益相关方动态和反馈循环——仍未被充分探索。本研究基于现有研究，关注大型科技公司中的推荐系统从业者如何将公平性融入其工作流程。

解决方案

• 提出的方法: 对大型科技公司中的推荐系统从业者进行半结构化访谈研究（N=11），以绘制其工作流程并识别在融入公平性方面的挑战和策略。
• 创新点:
  1. 提供推荐系统从业者工作流程的详细图谱，突出公平性考虑在内部及与法律、数据和公平性团队协作中的体现。
  2. 识别推荐系统工作流程中与公平性相关的关键技术和组织挑战。
  3. 为从业者和人机交互（HCI）研究人员提供可操作的建议，以改善推荐系统中的公平性整合。
• 程序与关键技术:
  • 对来自七家大型科技公司的推荐系统从业者进行11次半结构化访谈。
  • 使用归纳主题分析法分析工作流程和挑战。
  • 绘制公平性考虑在三个阶段中的分布：原型设计阶段、内部阶段和协作阶段。

结果

• 具体发现:
  • 从业者在公平性任务上的时间占比不到10%。
  • 公平性指标通常基于直觉并临时开发，每个项目平均创建超过五个新的指标。
  • 从业者在定义公平性、平衡多利益相关方需求以及管理动态推荐系统环境中的公平性方面面临困难。
  • 跨团队沟通受制于缺乏统一术语以及公平性团队的后期介入。
• 相较基线的优势: 本研究独特地关注多个大型科技公司中的推荐系统工作流程和公平性挑战，而非仅研究单一组织或通用机器学习系统。
• 实验/评估:
  • 对11位平均工作经验为5.36年的从业者进行半结构化访谈。
  • 通过工作流程绘制和主题分析识别技术和组织挑战。
• 局限性与未来工作:
  • 样本规模有限（N=11），仅来自七家公司；研究结果可能无法推广到小规模推荐系统。
  • 仅关注技术从业者，未涵盖法律、数据和公平性团队的视角。
  • 未来研究应探索跨团队协作并开发支持推荐系统工作流程中公平性的工具。

总结

本研究调查了大型科技公司中的推荐系统从业者如何将公平性融入其工作流程。通过半结构化访谈，作者识别了技术挑战（如定义公平性和管理多利益相关方需求）以及组织挑战（如时间有限和跨团队沟通不畅）。研究提出了可操作的建议，例如改进文档记录、在工作流程早期整合公平性以及开发共享的“公平性语言”。这些发现为从业者和人机交互（HCI）研究人员提供了宝贵的见解，旨在改善推荐系统中的公平性，特别是在大规模、高风险应用中。