人类是否偏好去偏的AI算法？职业推荐案例研究

文献标题

Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation

文献信息

• 主题领域: 人机交互（HCI）、公平性算法、推荐系统
• 关键词: 去偏算法, 人机交互, 职业推荐, 性别公平, AI公平性, 偏见评估, 用户接受度, 行为干预, 机器学习伦理, 社会技术系统

研究背景与问题

• 问题或挑战:

  1. 尽管AI公平性研究快速发展，但更多焦点集中在算法去偏上，而忽略了用户与公平AI交互时的复杂性。
  2. 当前AI推荐系统（特别是在职业选择方面）常表现出性别偏见，这种偏见可能会巩固社会中固有的性别角色刻板印象。
  3. 单纯去除AI算法中的偏见可能不足以达到预期的公平目标，因为人类自身的偏见也可能影响对公平系统的接受度。

• 重要性:

  • 职业选择是人生中的重要决定，直接影响个体的社会经济地位、生活质量，以及职业上的性别平等。
  • 性别偏见不仅影响个体选择职业，还可能进一步加剧社会不平等。

• 研究动机与相关工作:

  • 与现有研究集中在去偏算法开发不同，该研究首次系统性地探讨了人类偏见如何影响人机公平AI交互。
  • 社会学研究表明，性别刻板印象对职业选择有明显影响，这为探讨该问题提供了科学依据。

解决方案

• 方法或解决方案:

  1. 开发一个基于神经协同过滤（Neural Collaborative Filtering）模型的性别公平职业推荐系统，通过机器学习技术减少推荐中的性别偏见。
  2. 进行以大学专业推荐为案例的线上用户研究，探索真实用户对无偏系统的接受态度。
  3. 比较去偏算法与性别敏感型（含偏见）推荐算法在用户接受度、性别角色一致性、系统使用意愿等维度上的表现。

• 创新之处:

  • 不仅关注算法的公平性，还首次全面探讨了人类偏见对公平AI系统的影响。
  • 提出基于向量投影的性别偏见消减算法，能去除性别相关变量及其代理变量的偏见。
  • 将社会心理学方法与算法研究结合，如引入隐性性别偏见感知。

• 实施步骤和关键技术:

  1. 算法开发:
     • 从Facebook数据集中提取用户兴趣数据，搭建基于神经协同过滤（NCF）的推荐模型。
     • 采用向量投影法移除与性别变量显性及隐性相关的偏见。
     • 通过逻辑回归模型最终输出性别去偏的推荐。
  2. 用户研究:
     • 设计线上用户问卷调查，探讨用户对去偏推荐系统的接受情况。
     • 使用GLM（广义线性模型）分析用户偏见、自陈职业看法及推荐接受之间的关系。

研究成果

• 具体成果:

  1. 内容分析表明，去偏系统推荐职业中的性别刻板印象显著减少，如计算机科学被推荐给男女用户的比例趋于一致。
  2. 去偏推荐系统在公平性和准确性（使用NDCG和UPAR评估）方面均优于性别敏感型系统。
  3. 用户行为数据显示，尽管算法层面的公平性提升，用户整体更偏好性别敏感型系统的推荐。

• 与现有方法比较的优势:

  • 提供了对AI公平性从“算法公平”到“社会公平”延伸的新视角。
  • 提出了一些新颖的研究方向（如AI偏见解释、行为干预技术）。

• 实验或评估结果:

  1. 实验结果表明：
     • 性别去偏算法达到“公平即准确”的目标，但用户接受却不如带偏见的系统。
     • 多数参与者（女性和男性）倾向于接受符合性别刻板印象的职业推荐，避免选择被认为是“对方性别主导”的职业。
  2. 用户偏好受到人类潜在偏见驱动，而用户对公平系统的接受度与其感知到的性别一致性相关。

• 局限性与未来方向:

  • 局限性:
    1. 绝大部分被试已经确定职业选择，可能影响了对推荐结果的开放性。
    2. 仅考察了性别偏见，未涉及种族、宗教等其他受保护特征。
    3. 未全面研究职业选择的多方参与者如雇主、招生官的偏见影响。
  • 未来方向:
    1. 扩展至高潜在人群（如高中生）的研究，以提升方法的广泛适用性。
    2. 探讨场景迁移，如结合种族或残疾身份的公平性推荐研究。
    3. 继续开发和验证人机协同解决偏见的新技术框架（如人类与AI偏见共训练）。

以上分析总结了该研究的主要内容及其学术贡献，展示了如何以跨学科视角探讨AI公平性问题，对HCI和机器学习未来研究具有重要启示意义。