人机交互的计算可重复性研究

文献标题

On the Computational Reproducibility of Human-Computer Interaction

出版信息

• 主题领域: 人机交互（HCI）研究中的计算可重复性。
• 关键词: 计算可重复性, HCI, 开放科学, CHI论文, 数据共享, 分析代码, 指南, 可重复性率, 研究透明性。

背景与问题

• 问题/挑战: 尽管HCI领域对开放科学实践的采用率逐渐提高，但可重复性率仍然较低，仅有49%的分析CHI论文完全可重复。缺乏明确的指南、激励机制以及社区支持是实现可重复性研究的主要障碍。
• 重要性: 可重复性对于验证研究的可信度、促进材料的再利用以及推动科学进步至关重要。低可重复性率削弱了对研究结果的信任，并限制了在现有研究基础上进一步发展的能力。
• 动机与相关工作: 其他领域（如心理学、政治科学）的先前研究也报告了类似的低可重复性率。HCI由于其跨学科特性、技术快速发展以及透明性指南的有限采用，面临独特的挑战。现有的努力（如预注册和工件标记系统）尚未得到广泛应用。

解决方案

• 提出的方法: 系统性地评估CHI论文的计算可重复性，并通过调查和访谈了解作者的观点和障碍。开发创建可重复性存储库的实用建议。
• 创新性:
  1. 对76篇具有开放存储库的CHI论文进行全面分析。
  2. 通过调查和访谈识别可重复性的障碍。
  3. 制定改进HCI研究可重复性的详细指南。
  4. 倡导社区层面的变革以激励可重复性实践。
• 程序和关键技术:
  • 从2007年至2024年的CHI论文中提取存储库链接，存储于GitHub、OSF和Zenodo平台。
  • 使用提供的数据和代码尝试重现报告的结果。
  • 基于文档质量、数据可用性和代码可执行性等维度分析存储库。
  • 对作者进行调查和访谈，收集关于动机、挑战和可重复性认知的见解。
  • 综合研究结果，为研究人员和HCI社区提供可操作的建议。

结果

• 具体发现:
  • 49%的具有开放存储库的CHI论文完全可重复，23%部分可重复，28%不可重复。
  • 常见问题包括缺失数据（13个存储库）、文档不完整（21个存储库）以及持续的代码错误（32个存储库）。
  • 调查结果显示，60%的作者认为他们的工作是完全可重复的，但实际可重复性率较低。
• 相较基线的优势: CHI的可重复性率（49%）高于Cognition（31%）和Science（26%），但低于心理学中的注册报告（58%）。
• 实验/评估:
  • 重现尝试遵循系统化的工作流程，分析存储库的文档、数据清晰度和代码可执行性。
  • 对63名作者进行调查（回复率：59%），并对4名具有优秀存储库的作者进行访谈，获得定性见解。
• 局限性与未来工作:
  • 重现尝试可能受到编码技能和缺乏作者协助的限制。
  • 调查参与者的自我选择偏差限制了结果的普适性。
  • 未来工作可以探索不共享材料的研究人员的动机，并开发自动化工具进行可重复性检查。

总结

本研究系统性地评估了CHI论文的计算可重复性，发现仅49%的具有开放存储库的论文完全可重复。主要障碍包括缺失数据、不完整的文档以及代码错误。调查和访谈表明，作者通常缺乏培训、指南和激励机制来优先考虑可重复性。本文提供了创建可重复性存储库的详细建议，并倡导社区层面的变革，如更明确的指南、工件评估委员会以及对可重复性实践的认可。这些发现旨在加强研究的可信度并在HCI领域培养透明文化。