对机器学习中多重性公平影响的认知

研究背景与问题

• 发现的问题或挑战: 作者探索了“多样性”对机器学习（ML）公平性的影响，其中多样性指的是在预测精度相当的情况下可能存在多个不同的模型。这种多样性会导致相同输入的数据被不同的模型预测为不同的结果，潜在地造成了程序性公平性的风险。然而，目前的文献尚未对“利益相关者”是否也认同这种风险进行调查。
• 重要性: 当ML应用于高风险决策（如社会服务、刑事司法和医疗保健）时，这种随意性可能对个人造成实质性影响，例如失去工作机会或医疗服务。这对公众对ML系统的信任度和接受度都有直接影响。
• 研究动机与相关工作: 现有研究从哲学和计算机科学的视角提出多样性可能构成公平性风险。然而，缺乏与普通利益相关者（如决策受试者）的直接对话。鉴于ML系统的输出决定会影响公众利益，理解其感知至关重要。

解决方案

• 方法或解决方案: 通过一项调查研究，作者测量了普通人群（即决策接收者）对ML系统中多样性对公平性影响的看法，以及他们对多样性问题解决方法的偏好。
• 创新之处: 首次系统性调查了非技术利益相关者对于多样性公平性影响的看法，填补了理论假设与公众感知之间的研究空白。
• 实施步骤:
  1. 初步研究选出若干任务。
  2. 通过主研究调查多样性如何影响受试者对ML公平性的看法。
  3. 收集参与者偏好，比较六种多样性解决方案（如随机化、引入人类专家等）。
  4. 使用定性和定量方法分析反应模式，并考察任务特征（例如风险与奖励框架）如何调节受试者反应。

研究成果

• 具体成果:
  1. 普通利益相关者整体并不认为多样性显著威胁ML系统的公平性，但他们表现出明确的解决多样性问题的偏好。
  2. 最受欢迎的方式是让人类专家干预（human decision-making），而最不受欢迎的是随机化（randomization）。
  3. 偏好因任务特征而异，例如面对高风险任务时，更倾向于人类决策。
• 与现有解决方案比较:
  • 现有ML实践经常直接选择单一表现良好的模型并忽视多样性，但这种方法（ignore）被公众视为不公平。
  • 哲学家提出的随机化作为公平解决方案也未得到公众接受。
• 实验或评估结果:
  • 偏好选择“人类决策”（marginal mean为0.795，大幅高于随机期望值0.5）。
  • 高风险任务中更倾向于“人类”或“复杂模型”（，如ensemble methods），而低风险任务中对随机化（random）更宽容。
• 局限性与未来方向:
  1. 教育参与者对多样性的理解可能仍有提升空间，部分结果可能受制于受试者技术认知的限制。
  2. 当前基于假设性任务，未来可以转向实际使用场景以收集更具生态效度的数据。
  3. 未深入探究参与者偏好的原因，特别是对随机化的强烈不满（与哲学建议矛盾）值得进一步理解。

总结

本文通过对公众的调查质疑了现有ML实践和哲学建议的假设，特别是在处理预测多样性问题方面。尽管多样性的存在未显著降低参与者对公平性的感知，但他们对如何解决多样性问题表现出明显的偏好。这提示ML开发者需要更加透明且有目的地面对多样性问题，同时应在系统设计中考虑利益相关者的参与与感知。这项研究为机器学习公平性问题的社会层面讨论提供了新视角，并为未来增强公众对算法决策的信任度与接受度奠定了基础。