两组区间重叠并不等于差异不显著
别名: 区间重叠误读 · 显著性判断
概念解释
在对比两组数据的图表上，读者常见的一个推理是："两条误差棒重叠了，所以两组差异不显著。"这个推理不成立。两个 95% 置信区间的重叠程度与两组差异是否显著之间没有简单的对应关系——即使区间有可观的 overlapped，差异仍可能在统计上显著。反向也不成立：区间不重叠时差异几乎一定显著，但重叠不等于不显著。凭重叠目测显著性是可视化中最常见的统计误读之一。
机制
误读的根源在于混淆了两个不同的比较：单个均值的置信区间回答"这个组的真实值可能在哪"，而两组差异的置信区间回答"两组真实值之差可能在哪"。差异的区间宽度不是两个单组区间的简单组合——它取决于两组的方差和样本量，且配对设计与独立设计的计算完全不同。在独立 t 检验的场景下，两个 95% CI 需要重叠减少到约一半（即一条误差棒的上端只越过另一条的均值而非其区间边界）差异才接近显著边界；换言之，重叠一定量时差异可能仍然显著。可视化只呈现了两个单组区间，没有呈现差异区间，读者被引导用前者的重叠去推断后者的显著性——这中间隔着一个非平凡的数学关系，目测无法替代计算。
怎么研究
研究这一误读的经典范式是判断任务：呈现两组均值及其置信区间的图表，让被试判断差异是否显著，以实际的假设检验结果为基准计算判断准确率。因变量是"区间重叠 → 判断不显著"这一推理的发生率。变量包括重叠量（从完全不重叠到大幅重叠）、样本量标注、被试的统计背景。研究一致发现：相当比例的受过统计训练的读者也会使用重叠启发式，且重叠量越大误判率越高。改进方向包括在图表旁直接标注差异的置信区间或 p 值、以及使用专门的差异图（difference plot）把读者需要推断的量直接画出来。方法论的注意点：实验室中判断"是否显著"有标准答案，而真实场景中读者往往只需要"差异是否值得行动"，两种判断的相关性有限。
边界
重叠启发式的错误方向有不对称性：从不重叠推断显著几乎总是对的（保守方向出错率低），从重叠推断不显著则是高风险误读（容易把真实存在的差异当噪声忽略）。在实际决策中，第二类错误的代价通常更高——错过一个真实的效果比错误地追查一个不存在的差异更常见且更贵。对于配对设计（同一批用户前后测），单组区间与差异显著性的关系更弱，目测重叠的参考价值更低。呈现差异区间（两组差值的置信区间）是规避这个误读的根本办法，因为它直接呈现了读者实际需要判断的量。
怎么落地
- 对比两组的图表在旁边补充差异的置信区间或假设检验结果，而非只靠读者目测单组区间。
- 使用差异图（两组差值及其区间）作为对比可视化的补充视图，把需要推断的量直接画出来。
- 在图表注释中明确说明"区间重叠与否不能直接推断显著性"。
- 验证：找一张双组对比图，分别用区间重叠目测和实际检验两种方法判断差异是否显著；结论不一致即是该图的设计在引导误读。