开胃酒：构建预注册以自动生成分析代码和方法描述

文献标题

Apéritif: Scaffolding Preregistrations to Automatically Generate Analysis Code and Methods Descriptions

文献信息

• 主题领域: 人机交互（HCI）、开放科学和实验设计工具
• 关键词: Preregistration, 预注册, 实验设计, 可重复性, 数据分析, 开放科学, HCI, 方法学, 科学诚信

研究背景与问题

• 问题与挑战:
  • 人机交互（HCI）领域对预注册的采用率仍然较低，仅有约1.11% 的论文涉及预注册；预注册的详细程度和论文的一致性经常不足。
  • 现有预注册平台（如 AsPredicted 和 OSF）在模板设计中存在清晰度不足和集成度不高的问题，用户难以确定信息的详细程度。
  • 实验设计和研究过程中的变更可能导致预注册与最终论文不一致，同时缺乏版本控制和灵活度。
• 重要性:
  • 预注册是提高科学研究透明性和可重复性的关键实践，它能减少研究中的漏洞（如HARKing现象：在结果已知后生成假设）并提高研究的可信性。
  • 然而，预注册的低采用率和形式化不足阻碍了这些潜在的好处在HCI领域的实现。

解决方案

• 方法与工具: 开发了一个名为 Apéritif 的研究原型工具，这是基于Chrome浏览器扩展的预注册平台（与 AsPredicted 集成）。
  • 通过问题分解、具体化交互和可视化工具对预注册流程进行结构化分层指导（scaffolding）。
  • 提供自动化功能，包括自动生成分析代码（支持 Python 和 R）以及方法学描述。
  • 集成版本控制系统（GitHub API），以记录预注册文件的变更。
• 创新点:
  • 提供“分层指导”来框定和细化用户输入，从而改善预注册表单的精确性和信息量。
  • 引入版本控制，用于解决研究过程中的变化问题，同时确保与预注册内容的一致性。
  • 自动生成分析脚本和方法学部分作为立即可用的研究工具，降低用户的认知负担和时间成本。
• 实施步骤和技术:
  • 提供与变量定义、研究设计、假设生成和样本量计算相关的标准化模板和工具。
  • 利用 Tea 框架根据研究设计自动选择统计分析方法。
  • 通过 GitHub 实现文件版本的变更跟踪和研究过程集成。

研究成果

• 具体成果:
  • 实证研究表明，CHI 领域的预注册采用率较低，同时当前的预注册模板存在详细程度不足和与论文一致性差等问题。
  • Apéritif 在实验设计过程中显著减少了用户的时间和认知负担，提升了研究透明性和重复性。
  • 使用 Apéritif 后，研究人员更有可能在未来研究中采用预注册。
• 优势:
  • 相较传统工具和模板，Apéritif 的分层结构和自动化大大降低了使用门槛。
  • 分层指导的设计使预注册从 “表单填写” 变为更具交互性和学习性的任务，提高用户对研究计划科学严谨性的信心。
• 实验与评估结果:
  • 使用 Apéritif 的用户平均花费更少时间完成预注册（约11.25分钟，比使用 AsPredicted 快约37%）。
  • 大多数评价参与者（94%）认为该工具增强了研究计划的严谨性和透明度，约82%的用户表示会推荐此工具。
  • 自动生成的分析代码和方法学描述得到了参与者的高度认可，被认为是强大的时间节省和学习支持工具。
• 局限性与未来方向:
  • 目前主要支持定量研究（特别是 NHST 范式）；对定性研究和探索性研究的支持有限。
  • 在应对多变量交互和更复杂实验设计方面有改进空间。
  • 未来工作可以扩展Apéritif以支持更多元的分析方法（如贝叶斯分析）及跨学科适用性。
  • 应进一步探讨如何合理处理预注册文件与研究过程变更之间的关系。

总结与讨论

本研究通过诊断和改善当前HCI社区中的预注册实践低采用率和不足，为增加研究透明度、可信性提供了一种可行的技术解决方案。Apéritif的交互式工具和自动化功能为科学研究的规划和报告带来了创新途径，同时降低了研究者的时间和认知成本。这项工作为未来更多定性和多样性研究的预注册实践提供了有益的方向。