Statslator：科学文档中 NHST 与估计统计报告风格的交互式翻译

文献标题

Statslator: Interactive Translation of NHST and Estimation Statistics Reporting Styles in Scientific Documents

文献信息

• 主题领域: 人机交互 (HCI)、统计学报告风格的转换与交互
• 关键词: 统计学、交互系统、阅读界面、估计统计、NHST、透明统计、可探索性解释

研究背景与问题

• 发现的问题或挑战:

  1. 科学文献中的统计数据报告风格多样化，可能难以理解、不完整甚至具有误导性。
  2. NHST中的p值报告（如显著性检验）容易被误解，无法有效捕捉结果的不确定性。
  3. 统计报告的表示符号和数字精度在文献间存在不一致性，图形化表现也可能产生误解。

• 为何重要:

  • 统计报告是科学研究中的核心内容，直接影响读者对结果的可靠性评估和跨文献比较。
  • 在多个统计报告风格并存的情况下，无法满足所有读者偏好，同时许多文献未能提供足够的信息来支持全面解读。

• 研究动机与相关工作:

  • HCI研究社区开始提倡使用估计统计（例如效应量和置信区间）代替传统的NHST，但这种改变覆盖范围有限，许多文献仍使用传统报告方式。
  • 虽然有相关方法以改善文献个性化阅读体验，但仍缺乏能够动态转换统计报告的工具。

解决方案

• 方法或解决方案:

  • Statslator系统：一种交互式工具，能够将科学文献中的NHST或估计统计报告转换为读者偏好的风格，包括置信区间、p值、标准化效应量等多种形式。
  • 系统通过公式在文本中提取并转换统计信息，并生成图形和交互式解释来帮助读者更好地理解结果。

• 创新之处:

  • 针对现有文献报告不足的情况，开发转换方法以支持不同报告风格间的双向转换。
  • 不需要原始数据，基于现有文献中的信息即可进行有效转换。
  • 将阅读个性化与透明化结合，帮助用户验证统计报告的正确性。

• 实施步骤:

  1. 统计信息提取: 使用OpenAI GPT-3.5或正则表达式提取报告的统计值和相关信息，标记来源并验证准确性。
  2. 公式转换: 提出并验证一系列数学公式，以从多种统计信息中转化置信区间、p值及标准化效应量等数据。
  3. 视觉化表示: 支持交互式图表、动态假设结果图（Hypothetical Outcome Plot），并支持用户自定义图表的样式。
  4. 错误检测及功能扩展: 提供检查报告一致性的功能，防止作者或文献中可能出现的错误。

研究成果

• 具体成果:

  1. 文献分析显示，超过65%的CHI论文统计报告中包含足够信息，可用于转换不同风格。
  2. 使用不同报告信息（如t值、均值、标准差或p值）进行互相转换，转换准确性与置信区间覆盖范围接近于从原始数据直接计算的结果。
  3. 实现了Statslator PDF查看器，提供实时交互式转换及报告验证功能，并演示了三种具体应用案例。

• 与现有方法相比的优势:

  • 能够兼容传统静态文档（如PDF格式）而无须作者重新修订文献。
  • 提供由读者驱动的灵活统计风格选择，支持图形化和交互内容。
  • 有助于读者判断报告正确性，补充信息及跨论文比较。

• 实验或评估结果:

  • 多种公式转换策略在常见实验条件下的准确性得到验证，包括适合小样本实验的转换方法。
  • 系统检测报告中的实际错误并标记，从而帮助用户发现错误或不一致。

• 局限性与未来方向:

  1. 部分统计报告可能缺乏足够信息，转换会失败，例如只含p值的报告难以推导置信区间。
  2. 系统精确性依赖于作者报告的内容质量，且无法处理使用错误方法报告的数据。
  3. 当前支持的统计测试类型有限（如t检验），未来需要扩展到更多非参数检验及贝叶斯统计报告。

总结：Statslator系统展示了即时转换已有统计报告风格的可行性，解决了科学读者阅读已有文献时的理解障碍，为作者解放了进行更佳统计实践的空间，同时为不支持交互的传统出版格式文献提供了动态升级的可能性。