将科学结果置于恰当的视角：改进标准化效应大小的沟通

文献标题

Putting Scientific Results in Perspective: Improving the Communication of Standardized Effect Sizes

文献信息

• 主题领域: 用户界面与统计沟通
• 关键词: 统计学、效应量、可视化、认知、HCI、标准化效应、误解纠正、实验、信息沟通、科学传播

研究背景与问题

• 背景: 在数据驱动的社会中，人们越来越多地接触到关于不确定性结果的统计信息。然而，科学研究的结果往往只以平均值差异汇总，这通常掩盖了重要的个体结果变异性信息。这种总结方式不仅需要领域背景知识（例如熟悉某些统计单位），还可能引发对治疗效果的过度估计。
• 问题:
  1. 当前流行的方法（如仅展示组间平均差异）如何影响人们对治疗效果的感知？
  2. 可用何种有效方式减少由于统计结果报告方式所引发的潜在误解？
• 研究动机与相关工作: 在HCI领域及其他学术社区中，人们已呼吁科学家减少对p值的依赖，更多地关注效应量。然而，目前在HCI和其他科学领域报告标准化效应量的做法仍不常见。同时，关于如何以不同格式展示效应量对公众认知的影响，研究较为有限。

解决方案

• 主要方法:
  • 设计并实施了四个大规模、预注册的随机实验，涵盖近5000名参与者。
  • 比较了多种统计信息展示方式（如平均值差异、信赖区间和效应量描述）对误解效果的影响。
  • 实验还探索了用高度直观的类比（比如用年龄与身高的关系）来解释效应量的可能性。
• 创新之处:
  • 系统地评估了常用统计信息格式在传播中的不足。
  • 提出了一种“概率优势”（probability of superiority）的呈现方式，作为标准化效应量（如Cohen's d）的替代手段。
  • 引入了使用生活化类比的创新手段来帮助非专业读者理解统计结果。
• 实施步骤:
  • 在实验中利用一个虚构的“滚石比赛”场景，让参与者为改善表现支付工具租赁费用，并测量他们对效果的感知情况。
  • 控制条件下呈现不同格式的统计信息（简单描述、平均差异、信赖区间、可视化等）。
  • 加载额外信息（如效应量的类比、个体结果方差）后，衡量参与者的感知变化。
  • 综合实验结果，评估各方法的纠偏能力和效果。

研究成果

• 具体结果:
  • 使用均值差异报告治疗效果容易造成较大误解。
  • 在实验1中，显示95%置信区间的可视化虽然增加了信息层次，但反而进一步加剧了对治疗效果的过度估计。
  • 显示个体结果变化信息能显著减少误解。实验表明：
    • “概率优势”格式能够有效地减少误解，减少的错误幅度约为50%。
    • 高度类比（如16岁与15岁女性身高的比较）对减偏效果接近“概率优势”。
  • 在未提供信赖区间可视化的条件下，“概率优势”对所有原始报告方式均呈现稳健的纠正效果。
• 与现有解决方案的对比: 相比仅展示均值或可信区间，该解决方案补充了个体水平的变化信息，并通过将统计量模块化和形象化，使之更容易被非专业读者理解。
• 实验或评估结果:
  • 覆盖近5000人参与的实验显示新增信息格式（特别是“概率优势”）能将愿支付范围的偏差减少50%以上。
  • 骨干分析及对随机样本结果的敏感性分析显示了结果的稳健性。
• 局限性与未来方向:
  • 结果局限于虚拟设置（滚石比赛）及单一尺度（如winner-takes-all比赛设置）。
  • 未测试不同文化或专家/非专业人群的反应之间的差异。
  • 建议进一步探索如何更好地传达效应量的推断不确定性，以及效应量类比在其他具体决策情境中的适用性。

总之，该研究强调了对科学传播语境中增加透明度和准确度的重要性，并为非专业背景的人群提供了一系列切实可行的统计报告改进策略。