多重比较需要校正显著性阈值或提前限定主指标
别名: 多重比较校正 · Bonferroni · 主指标限定
概念解释
一旦同一实验要检验多个指标，错误率就要么用校正（threshold correction：Bonferroni、Holm、错误发现率等）收紧每一道门槛，要么在跑之前把检验权收成一个主指标（pre-specified primary），其余降为次要或描述。两种办法都是为了让“显著”仍对应事先同意的错误率，而不是为了指出哪一种校正公式最好。不校正也不收口，名义 α 只对单次检验有效，对整张表无效。主指标要在开始前锁定，是下一步的时间规则；这里先处理“多对一”的分析策略。
机制
校正把 α 分给多次检验：Bonferroni 用 α/k，苛刻但简单；Holm 逐步放松；FDR 控制的是发现里假的比例，而不是“至少一个假发现”的概率。指定主指标则把族缩小到一次确证检验，次要指标即使过线也不升级为确证。两种策略的代价不同：校正让每个指标都更难过线，单主指标让其余指标失去确证地位。没有策略时，团队在会场上对仍按 0.05 刷绿的表做选择，错误率已经不是 0.05。相关指标会让某些校正偏保守，这不是跳过校正的理由，而是改用更匹配依赖结构的方法（多元检验、门控：主指标过线才测次要）。
怎么研究
计划二选一或组合：写明校正方法与 k，或写明唯一主指标及次要名单。门控（gatekeeping）或层级检验要画出顺序。仿真在计划的相关结构下核对族错误率或 FDR 是否接近目标。结果表分栏：主 / 次要 / 探索，并标注是否已校正。次要指标的未校正 p 可以汇报，但结论句只能由主指标或校正后仍成立的集合承担。更换校正方法属于计划偏离，需记录，不能因为另一种方法更好看而换。
边界
单一预注册指标且没有其他检验，不需要校正。描述性图表若不被读成检验，也不需要。探索性阶段可以不校正，但必须放弃确证措辞。FDR 适合筛选许多同等地位的终点，不适合“只有一个决策”的发布实验——发布更常需要控制族错误或只放行一个主指标。校正不能拯救已经根据结果改过 k 的名单：名单必须事前固定。
怎么落地
- 实验单在分流前勾选：校正方法 + k，或唯一主指标；两空都空不得开跑。
- 结果表用三列身份（主、次、探索）；探索列禁止出现“证实”。
- 会场上不得靠切换校正方法让某个指标过线；要改方法，开新实验。
- 验证：按注册的规则重算整张表，任何未按该规则过线的指标从结论中删除。