从CHI 2017到CHI 2022的经验研究中的研究伦理、开放性和透明度的变化

文献标题

《Changes in Research Ethics, Openness, and Transparency in Empirical Studies between CHI 2017 and CHI 2022》

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction, HCI)，重点探讨学术研究中的伦理性、开放性和透明度。
• 关键词: 可复制性, 可重复性, 透明性, 伦理, 开放科学, 数据可用性, CHI。

研究背景与问题

• 发现的问题或挑战:

  1. 学术界近年来关注促进研究伦理、开放性和透明性，但其在具体实践中的实施程度尚不明确。
  2. 一些研究可能存在资源限制、激励机制失衡以及某些研究背景下伦理和透明性之间的矛盾。
  3. 现有研究大多基于作者自报告数据，缺乏对实际发表论文的全面评估。

• 重要性:

  1. 学术影响：研究伦理、开放性和透明性是科学研究可重复性与社会责任的重要组成部分。
  2. 社区规范：透过分析顶级会议 CHI（Human-Computer Interaction Conference）的发表论文，可以为 HCI 社区提供反馈，推动更高标准的研究规范。

• 研究动机与相关工作:

  1. 过去研究集中于统计透明性、样本大小报告、数据共享等单一话题。
  2. 需要综合评估 HCI 领域研究人员在伦理、开放性和透明性方面的改进程度。
  3. 本研究填补现有研究不足，为 HCI 研究实践提供数据支持和方向指引。

解决方案

• 提出的方法或解决方案:

  1. 定义和操作化 45 项研究伦理、开放性和透明性的具体评价标准。
  2. 分析 CHI 2017 和 CHI 2022 两届顶级会议中分别抽样的 118 篇和 127 篇论文。
  3. 开发了一个验证性筛选工具，探索基于自动化技术对评价标准的支持能力。

• 创新之处:

  1. 综合性的评价标准覆盖研究设计、数据收集、数据分析和结果报告四个主要方面。
  2. 提出了一种自动化系统，结合自然语言处理技术（BERT sentence similarity），用于评估论文是否满足某些评价标准。
  3. 提供对伦理与透明性冲突问题的初步实证分析。

• 关键技术:

  1. BERTScore 计算句子相似度，识别满足特定评价标准的句子。
  2. “零次学习”文本分类器（Zero-shot Classifier）用于进一步筛选满足性内容。

研究成果

• 具体成果:

  1. 研究伦理:
     • CHI'22 在伦理实践（例如伦理审查、知情同意、参与者补偿）中表现出显著改善（达到 50% - 57%）。
     • 约 29% 的论文研究涉及脆弱人群，但其透明性（如数据共享）显著滞后。
  2. 开放性:
     • CHI'22 的开放访问和数据共享有所进步，但只有 62% 的论文附加了任何额外研究材料。
     • 关于使用 FAIR 原则的共享实践，改进不明显。
  3. 透明性:
     • 访谈指南、定性数据、分析代码的共享有显著改善（例如访谈指南共享从 CHI'17 的 2% 提高到 CHI'22 的 25%）。
     • 定量数据和定量样本描述的透明性（如统计假设检验报告）仍需改进。
  4. 数据显示伦理约束可能确实限制了某些论文的数据透明性。

• 与现有研究的比较与优势:

  1. 本研究更具体、更全面：对实际论文进行了细粒度的标准评估。
  2. 与现有的基于作者自报告的数据（如更高的透明性报告率）相比体现了更实际的实践情况。
  3. 首次探索伦理与透明性间的潜在权衡问题。

• 未来方向:

  1. 针对 HCI 特定研究方法，制定更加细化的透明性标准。
  2. 推动 SIGCHI 等学术会议实施更具体的审稿规范，使伦理与透明性评估成为作者和审稿人流程的一部分。
  3. 进一步开发基于机器学习的自动化工具，深化研究伦理、开放性和透明度的检查能力。
  4. 深入研究研究人员在数据开放和隐私保护之间的权衡考量。

输出格式

• 格式清晰、信息丰富，适于 HCI 研究社区、作者和审稿人的实践改进参考。
• 强调了不同研究实践的改进行动建议，并用数据支持结论。