调查机器学习在识别英语语言数据中的偏见方面的能力和局限性与信息和遗产专业人士

研究背景与问题

• 作者发现了哪些问题或挑战？
  尽管机器学习（ML）已取得巨大进展，但其系统仍然难以完全解决语言数据中的社会偏见问题。特别是在处理与档案馆、图书馆和博物馆（GLAM）相关的文化遗产时，描述语言包含显著的性别偏见，这会影响研究者和公众对历史的理解。

• 为什么这个问题很重要？
  语言中的性别偏见可能加深社会不公并使边缘化群体受到进一步伤害。机器学习如果未能理解和管理这些偏见，会通过扩展应用进一步放大现有的不平等权力关系。

• 研究动机与相关工作
  现有的ML方法主要致力于“移除”数据或模型中的偏见。然而，这种方法忽略了偏见的社会和历史背景。文献还表明，许多偏见不可避免地存在于文化遗产的记录中，作者希望通过跨学科方法研究如何在这些案例中管理语言中的偏见而非尝试完全消除它。

解决方案

• 作者提出了哪些方法或解决方案？
  作者通过机器学习构建分类模型，识别英语语言数据中的性别偏见。这些模型被设计为对GLAM档案馆的描述性元数据进行分类，标注潜在的偏见语言。

• 该解决方案的创新之处是什么？
  主要创新在于对“偏见”的重新定义。相比试图完全消除偏见，作者提出通过ML揭示语言中的偏见，使偏见成为管理的一个关键目标。此外，研究采用了结合ML和人机交互（HCI）的混合方法，强调人在机器学习工作流中的重要作用，以确保偏见被正确解读。

• 实施步骤是什么？使用了哪些关键技术？

  • 数据采集与预处理：从苏格兰档案馆的元数据中收集用于训练模型的文本数据，标注为10种性别相关偏见类别，包括性别化代词、职业、刻板印象等。
  • 模型训练：采用传统监督学习方法开发三种分类器：词级分类器（LC）、序列分类器（PNOC）和文档分类器（OSC），分别针对不同类型的语言现象。
  • 模型级联：将不同分类器的预测结果作为特征输入其他模型，通过模型级联优化最终分类器性能。
  • 人机交互评估：通过研讨会收集信息和遗产专业人士的反馈，深入评估模型对语言偏见的检测能力及其实际应用场景的有效性。

研究成果

• 取得了哪些具体成果？

  • 机器学习模型能够对GLAM元数据中存在的性别相关语言进行分类。Cascade 2的文档分类器在“刻板印象（Stereotype）”类别中表现最佳（F1=0.841）。
  • 该研究首次探讨了性别偏见如何显现于GLAM元数据中，并表明偏见的情境性与复杂性超出传统机器学习的处理范围。

• 与现有解决方案相比，它有哪些优势？

  • 相比只关注数学消除偏见的方法，该方法结合了社会学和批判性理论，并采用人为监督管理偏见。
  • 探索了偏见不可避免的情况下的管理策略，从而扩大了机器学习研究中的偏见和公平性讨论。

• 实验或评估结果是什么？

  • 研讨会结果：信息与遗产专业人士发现，偏见具有情境性、动态性和不可避免性，这与传统ML研究中对偏见的技术定义显著不同。
  • 模型性能：尽管模型的表现优于人类标注员之间的一致性，但某些类别（例如“忽略（Omission）”）仍表现较弱，表明需要进一步改进模型设计。

• 局限性与未来方向

  • 局限性：某些偏见类型难以识别，尤其是隐性偏见；模型性能在特定类别上表现有限。对非二元性别的记录缺乏充分的数据支持。
  • 未来方向：
    • 扩展数据集以更全面地捕捉非二元性别和复杂偏见模式。
    • 开展更多基于深度学习的实验，同时在设计阶段采用低成本的传统方法验证偏见转移。
    • 探讨如何在机器学习训练和应用中减少情绪压力，提高参与者的自信心和反馈质量。

总体上，这项研究不仅探索了语言偏见在文化遗产领域的表现，还为机器学习如何处理偏见提供了创新性框架，强调了机器学习辅助而非完全自动化的可能性。这种方法不仅服务于GLAM领域，还能扩展到其他情境复杂的应用场景中。