RDoFlow：自动评估 HCI 论文中统计分析的未明确规范问题

在设计和分析研究时，研究者必须导航大量的方法论决策空间，即“研究者 degrees of freedom”。如果这些选择未预先注册或未透明报告，可能会增加假阳性膨胀和效应量夸大的风险，损害科学可信度。依据心理学研究对这些 degrees of freedom 的描述，我们创建了一个协议来评分 HCI 文献中假设的报告方式（ReportDoF）。我们将 ReportDoF 手动应用于 2015-2025 年间 HCI 文献中包含的 100 个假设，包括预注册和论文。基于这一经验，我们贡献了一个 LLM 工作流和概念验证交互界面（RDoFlow），将 ReportDoF 应用于新文本，实现对报告分析规范组成和质量的大规模分析。例如，RDoFlow 揭示了 HCI 研究比心理学研究更频繁地为单一假设测试多个因变量——这种做法会增加假阳性风险。