诊断人机交互研究参与者性别代表性中的偏差：它是如何发生的以及我们目前的位置

文献标题

Diagnosing Bias in the Gender Representation of HCI Research Participants: How it Happens and Where We Are

文献信息

• 主题领域: 人机交互 (HCI) 研究中的性别表示与性别偏倚
• 关键词: 性别, 性别偏倚, 用户研究, 参与者, HCI, 数据集合, 元分析, 人机交互, CHI, 数据结构

研究背景与问题

• 问题或挑战:

  • HCI研究参与者中性别代表性的不均衡可能影响研究结论的广泛适用性，强化数据驱动实践中的偏倚，并对未充分代表群体产生潜在危险。
  • 对非二元性别参与者无关注，数据沉默的现象未被识别。
  • 研究仍缺乏关于性别偏倚来源的深入理解。

• 问题重要性:

  • 在技术设计中未能公平地代表不同性别可能导致新技术对某些群体的不适用或有害。
  • 性别偏倚的诊断和解决方案对推动HCI领域的包容性和公平性具有关键作用。

• 研究动机与相关工作:

  • 之前的研究显示，HCI用户研究中参与者的人口统计特征倾向于男性，但未能揭示偏倚产生的具体变量。
  • 通过结合定性访谈与大规模数据分析，本研究旨在揭示参与者性别偏倚的潜在因素并建议解决方案。

解决方案

• 提出的解决方案:

  • 定义了系统的数据收集准则和数据架构，用于从HCI研究中提取参与者性别数据。
  • 通过对1,147篇CHI(人机交互会议)论文数据的分析，提供了广泛的性别偏倚统计信息。

• 创新之处:

  • 提出了一种针对性别和相关变量的数据结构，允许在数据驱动分析中捕获复杂性与灵活性。
  • 开发了用于提取性别数据的工具（MAGDA），帮助实现高效且准确的数据收集。
  • 用量化指标（例如DER）来比较每篇论文中的男性和女性代表性。

• 实施步骤与关键技术:

  • 定性阶段：通过13名HCI研究者的采访识别潜在变量（如参与者招募来源、研究领域等）与性别偏倚的关联。
  • 数据收集：设计数据架构并从1981到2020年间的CHI会议论文中收集数据。
  • 量化分析：对参与者性别数据进行统计检验，例如使用DER衡量研究中男女代表性分离程度。

研究成果

• 具体成果:

  • 发现了HCI研究中女性的持久性低代表性以及非二元性别参与者的不可见性问题。
  • 识别出三个与性别偏倚相关的关键变量：参与者的招募来源、性别数据的报告方式、以及研究领域。
  • 提供了由1,147篇CHI论文生成的性别数据集，包含性别报告、参与者人数及招募数据。

• 优势相较于现有解决方案:

  • 提供了比以往研究更全面和细致的性别数据分析（关注女性和非二元性别）。
  • 提供了系统的数据收集方法和工具以提高效率与减少错误。

• 实验或评估结果:

  • 从趋势上显示女性参与者的代表性未显著增加，非二元性别参与者的代表性仍然受到忽视。
  • 随着时间推移，Amazon MTurk 招募的男性比例增加，导致性别偏倚加剧。
  • 某些研究领域（例如编程工具、虚拟环境等）更倾向于男性代表性，而社会相关领域（例如家庭与社区）代表较多女性。

• 局限性与未来方向:

  • 数据收集依赖已有论文中报告的数据，因此受到报告实践和术语使用的限制，未能完全避免性别二元视角。
  • 未来研究应探索与非二元性别相关的变量，并进一步优化招募和性别报告规范。
  • 推荐对HCI研究中的方法论进行补充分析，探讨方法与性别代表性之间的相互作用。

建议与行动

• 建议措施:

  • 鼓励研究者在报告参与者数据时提供性别和招募来源的信息。
  • 为性别包容与公平进行能力建设工作坊，促进跨研究领域的标准化实践。
  • HCI社区应实施全面的调研计划以识别所有性别群体的参与障碍。

• 研究影响:

  • 为理解HCI研究中的性别偏倚提供了实践框架。
  • 推动改进HCI领域的人群代表性，并提升新技术的公平性与包容性。