图中标注显著性需说明所用的检验方法
别名: 检验方法标注 · t检验还是卡方
概念解释
"统计显著"这个标记省略了一个关键前提:显著是相对于某个检验方法而言的。同样的数据用 t 检验、Mann-Whitney 检验、或卡方检验可能得出不同的 p 值——不是哪个"更对",而是它们对数据做出的假设不同(正态性、独立性、连续性)、检验的假设不同。不标注检验方法的显著性标记是一个不完整的证据陈述:读者无法评估这个结论在什么假设下成立、换一种合理的方法是否会得到同样结论。当不同的图表使用不同的检验方法却用同样的星号标记时,读者无法区分这些"显著"背后的方法差异。
机制
检验方法决定 p 值是因为每个检验都对"如何度量极端性"做了不同的选择:参数检验(t 检验)假设数据服从特定分布并利用该假设获得更高检验力;非参数检验(Mann-Whitney)不依赖分布假设但检验力稍低;比例数据的卡方检验与均值的 t 检验回答的是不同类型的问题。当数据违反检验的假设时(如重尾分布用 t 检验),p 值的计算基础就不成立——同样的数据在合适与不合适的检验下可能跨过或不跨过阈值。标注方法的作用是让结论可审计:知道用了哪种检验,读者(或审查者)可以评估假设是否合理、样本量是否足够、以及换一种方法结论是否稳健。没有标注时,这个审计链条在第一步就断了——"显著"变成了一个不可追溯的权威标签而非可检验的证据。
边界
标注的全部信息(检验类型、方向、是否校正)取决于空间预算:图上的空间有限,完整的统计细节应放在悬浮提示或附注中,图上至少标注方法类别("t 检验")。对于内部仪表盘统一使用一种检验的场景,可以在系统级声明一次而不必每张图重复。另一个边界是"读者是否需要理解检验方法才能使用结论"——业务读者通常不需要,但标注的意义不只是让读者理解方法,还包括当结论被质疑时可追溯:三个月后有人问"这个显著是怎么算的",没有标注就无法回答。
怎么落地
- 每个标注显著性的图表在悬浮提示、附注或图注中注明检验方法(如"Mann-Whitney U 检验,双侧")。
- 检验方法与数据类型在系统层面绑定校验(比例数据用卡方、均值用 t、计数用泊松相关方法),避免制图者手动选择不当的检验。
- 方法变更时在图表历史中留下版本记录,让同一图表不同时期的结论可以对应到不同方法。
- 验证:随机抽 3 个带星号的图表,检查是否能从图面或附注确定所用检验;任何一处无法确定即标注缺失。