CHI有多怪异？

文献标题

How WEIRD is CHI?

文献信息

• 作者: Sebastian Linxen, Vincent Cassau, Christian Sturm, Klaus Opwis, Florian Brühlmann, Katharina Reinecke
• 出版时间: 2021
• 会议: CHI Conference on Human Factors in Computing Systems (CHI `21), Yokohama, Japan
• 主题领域: 人机交互领域中的样本代表性与国际化研究
• 关键词: WEIRD, 样本偏差, 泛化性, HCI研究, 地理多样性

研究背景与问题

• 问题或挑战:

  • CHI研究中的参与者样本主要来源于西方社会（Western, Educated, Industrialized, Rich, Democratic，简称WEIRD），而这些社会仅占全球人口的12%。这种偏向可能使得研究结论难以外推到非WEIRD社会。
  • 缺乏全球人口代表性的研究可能限制技术设计的包容性与泛化性。

• 重要性:

  • 技术用户覆盖全球，但研究主要集中于少数人口样本，可能导致设计结果无法反映世界多数人的需求。
  • 泛化性问题可能影响技术的有效性和社会公平性。

• 研究动机与相关工作:

  • 行为科学长期存在WEIRD样本的泛化性问题，显著影响心理学、社会学等领域的研究结论。
  • 类似问题在HCI领域也非常突出，现有文献已对样本地理分布不均表达关注，但少有系统性分析。
  • 本研究旨在量化CHI会议样本代表性，分析被忽视国家和地区样本的现状，同时提出提升多样性的建议。

解决方案

• 提出的方法或解决方案:

  • 使用Henrich等人提出的WEIRD框架，对CHI 2016-2020发表的2768篇论文进行内容分析，量化参与者样本的地理分布和人口特点。
  • 分类分析样本国家的西方属性（Western）、教育水平（Educated）、工业化程度（Industrialized）、财富水平（Rich）以及民主程度（Democratic），并给出样本比例与全球人口的比较。

• 创新性:

  • 首次提供对CHI样本地理范围的定量分析，并明确指出研究样本的大量偏向性。
  • 不仅集中分析WEIRD样本整体框架，还单独拆解每个变量，揭示更细微的样本特点。

• 实施步骤与关键技术:

  • 手动编码CHI论文中的参与者样本信息，提取包括国家、教育、收入等变量。
  • 使用联合国、世界银行等机构数据进行样本标准化比较，确定哪些国家的样本被过度或不足研究。
  • 应用Kendall秩相关分析等统计方法评估样本偏差。

研究成果

• 具体成果:

  • 地理分布分析: 过去五年间73%的研究样本来自WEIRD国家；美国样本占比最高（45.82%），而全球102个国家未被研究。
  • 个别变量分析:
    • 教育：约70%的参与者拥有大学及以上学历，远高于全球平均水平（8.4年）。
    • 工业化与财富：样本国家的GDP和GNI显著高于世界平均水平。
    • 民主程度：绝大多数样本来自高度民主的国家。
  • 趋势变化: 非西方样本比例有所增加，从2016年的16.31%提升至2020年的30.24%。

• 优势:

  • 提供了一个系统框架并量化数据，使得后续研究可以追踪样本多样性的变化。
  • 强调了地理多样性不足问题，推动解决泛化性不足的努力。

• 实验或评估结果:

  • 样本地理分布多样性与CHI会议举办地有一定相关性，但主要受到学术偏好驱动。
  • 非西方样本的增加部分得益于在线研究，如行为日志分析与跨国实验。

• 局限性与未来方向:

  • 局限性：研究仅集中于WEIRD框架，未考虑样本人群的其他身份维度；许多参与者的个人细节信息难以获得。
  • 建议未来工作包括：
    • 比较其他学术会议与期刊的数据分布。
    • 探索样本种类与参与者的个体差异。
    • 提高研究报告中样本统计信息的规范性。

应对WEIRD样本偏差的建议

• 增加非WEIRD国家的研究作者，以鼓励跨国合作与本地样本招募。
• 支持在线研究以接触更多样化的全球参与者。
• 开发跨国样本研究的适配方法，同时共享经验报告以减少跨文化研究的障碍。
• 鼓励结果的复制与扩展研究。
• 在论文中清晰报告样本属性，加深对泛化性问题的关注。

通过本文，研究者明确了CHI领域中的样本代表性问题，并呼吁HCI领域采取更多措施以实现全球化的研究视野。这项工作的成果为未来扩展样本多样性提供了有力的数据支持与策略建议。