单尾检验会人为降低显著性门槛,需在实验前声明
别名: 单尾检验 · 单侧检验 · 方向性检验需预注册
概念解释
单尾检验(one-tailed / one-sided test)把全部显著性水平放进事先指定的那一侧。在常用 α=0.05 时,临界值大约从双侧的 1.96 落到 1.64,同样的点估计更容易“显著”。门槛被降低,不是因为证据变强,而是因为另一侧被宣布为不必拒绝。方向和单尾必须在看到数据之前写进计划;看完符号再改成单尾,等于事后移动临界值。产品实验里伤害与获益通常都要看见,默认双侧并不是保守癖好。
机制
双侧把拒绝域劈成两尾,单尾把同一面积堆到一尾,使临界点向零靠近。若真实方向与声明相反,单尾会把相反一侧的极端结果叫成“不显著”甚至不予检验,于是有害移动更难被正式抓住。看完数据再选尾,是把已经实现的符号写进拒绝规则:正的就测正侧,负的就测负侧,名义 α 被用了两次。预注册单尾只有在方向有强先验、且反方向在实质上被定义为“与零同类或不予主张”时才正当。界面改动很少满足这点:文案、布局、默认值都可能伤到某一侧用户。
怎么研究
计划写清:单尾还是双尾、哪一侧、α、以及反方向将如何报告(仍给出估计与区间,还是预先声明不主张)。注册时间戳必须早于结果窗口。分析按注册执行;若中途想改尾数,当作新研究,不改正在跑的检验。报告同时给出双侧 p 作为对照,使读者能看见单尾“帮”了多少。审查方向性主张时,检查该方向是否在材料里出现过,还是只在结果符号出来之后出现。
边界
等价性、非劣效检验本身就是有方向的,它们有自己的双侧或单侧约定,不能和“把普通优效检验改成单尾好过线”混为一谈。安全或监管场景里只关心“有没有变差”,单尾或单侧置信界限可以是正当工具,仍须事前声明哪一侧。探索性数据可以看方向,但那一阶段不得使用单尾显著性语言。样本量规划若按单尾算 n,实际却做双侧,会系统性功效不足。
怎么落地
- 实验文档默认双尾;要用单尾,必须在分流前写出方向、理由和反方向的报告方式。
- 禁止在结果会上看见箭头后再勾选“单尾”。
- 对外结论若用了单尾,脚注写明临界值如何移动;写不出移动,改回双尾再发布。
- 验证:用同一数据按双尾重算;若只有单尾过线,不得把该结果写成已证实的改进。