通过使用参与性输入来导航机器学习多元宇宙以防止有害的数据实践

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前的机器学习（ML）管道在设计和评估模型的过程中面临许多关键的决策点，每个决策可能引发公平性、隐私性、可解释性和性能之间的权衡。此外，设计决策通常具有规范性，需要广泛的社会视角参与以保障公平性与伦理问题。
  • 数据处理中的懒惰实践（lazy data practices）是一种常见现象，这种操作带来偏见和不公平行为，例如在处理数据时排除小型群体会导致代表性不足。
  • 在算法设计中，这些问题通常没有得到合理解决。多数情况下，这些设计决策是“优化”的结果，而非基于社会或伦理考量的民主化选择。

• 为什么这个问题很重要？

  • 算法决策已经广泛影响社会的多个领域，如就业筛选、难民重新安置和医疗保险批准。若未充分考虑公平性和社会规范，一些群体可能在决策中受损。
  • 即便是技术上表现优良的模型，如果决策点上存在隐含的偏见，则可能对少数群体产生负面影响。

• 研究动机与相关工作

  • 现有的参与式人工智能（Participatory AI）方法主要集中在目标设定或需求采集方面，而较少关注模型设计和评估阶段的技术性决策。
  • 通过引入公众和多样化的利益相关者进行参与式输入，研究希望减少偏见和改善机器学习管道的设计，特别是解决“懒惰数据实践”的问题。

解决方案

• 作者提出了哪些方法或解决方案？

  • 引入了一个参与式方法以获取公众对机器学习管道设计的输入。该方法通过公众参与来约束和导航机器学习多宇宙（multiverse）中的决策选项。
  • 设计了一个案例研究，用以预测美国公民是否有公共健康保险，并使用了包含多个步骤的参与式实验框架。

• 该解决方案的创新之处是什么？

  • 使用公众参与来缩小机器学习多宇宙中的决策空间，提高设计决策的民主化程度。
  • 提供了一个可重用的工作流程，旨在通过公众输入改进数据处理和公平性评估。
  • 引入了一种方法，在多宇宙分析中展示不同决策路径的交互作用，从而帮助应对“公平性黑帽”（fairness hacking）等问题。

• 实施步骤是什么？使用了哪些关键技术？

  • 定义设计和评估的具体决策，并为每个决策提供选项与说明。
  • 建立一个在线实验，嵌入到一个公民科学平台以收集全球样本的数据。
  • 设计适用于非技术参与者的问卷，涵盖模型设计和评估的核心决策。
  • 使用机器学习和数据分析工具（如Python和多宇宙分析技术）整合参与者反馈，分析最优模型路径与公平性。

研究成果

• 取得了哪些具体成果？

  • 收集了来自不同地理背景的参与者反馈，展示了公众如何选择公平性相关的选项。
  • 通过参与式输入生成的模型在公平性与性能权衡方面表现出优越性，接近技术和伦理的“帕累托前沿”。
  • 结果表明，公众参与能够显著改善机器学习设计，减少懒惰数据实践，提高设计的公平性和透明度。

• 与现有解决方案相比，它有哪些优势？

  • 相较于传统的模型优化方法，参与式输入方法更加民主化，避免了设计过程中的单一技术导向。
  • 参与者反馈能够明确减少不合理的数据处理方法，如群体数据的过度简化或排除。

• 实验或评估结果是什么？

  • 模型设计的“多宇宙”分析显示，通过参与式输入限定的决策路径，模型在公平性和性能指标上具有较优表现。
  • 数据表明，大多数参与者倾向于选取更复杂的模型，同时支持包括所有群体数据的评估策略。

• 局限性与未来方向

  • 由于样本主要来自互联网，虽然地理上多样化但可能存在些许代表性不足。
  • 问卷回答受限于参与者的背景知识和对技术描述的理解力，部分决策可能难以有效传达。
  • 在真实场景下进一步实施参与式设计需要加强与目标人群的直接互动，包括制定更富包容性的咨询方法。

总结

这项研究为机器学习管道的设计与评估引入了一种新的参与式工作流程，成功地展示了如何利用公众输入约束设计决策空间并提升模型的公平性。该方法为人工智能民主化设计提供了重要指引，同时也揭示了参与式实践在算法公平性中的潜力与挑战。未来可探索如何在复杂技术决策中更广泛地体现参与式方法，以及如何通过多轮优化进一步提升设计结果与公众信任。