主指标应在实验开始前锁定，而非结束后择优选择
别名: 主指标锁定 · 事后择优 · 结果出来后选指标
概念解释
主指标（primary metric）是这次实验用来做放行或否决的那一个结果。它必须在流量或被试开始进入处理之前写死：定义、窗口、分母、成功标准。实验结束后再在转化、时长、评分之间挑一个最好看的当“其实我们关心的是这个”，是事后择优。择优把已经看见的胜负写进规则，名义错误率作废。限定主指标可以是对付多指标膨胀的策略之一；这里管的是锁定的时刻——开始前，不是看完表之后。
机制
决策规则若能等到结果再选指标，选择会偏向碰巧过线的那个。几个相关终点里总有一个在噪声下好看，被选中的幅度和 p 都经过选择，不能再按单次检验来读。时间戳是可检查的：计划、仪表盘配置、埋点冻结记录是否早于结果窗口。口头上“我们一直最关心留存”而文档里直到周会才出现留存，锁定并未发生。中途改主指标等于新开一次确证，旧窗口的数据不能再为新指标提供未经选择的证据。锁定也不禁止收集次要指标，它禁止的是让次要在事后晋升。
怎么研究
把主指标的完整操作化写进时间戳早于分流的计划：事件名、归因窗口、排除规则、是人均还是按会话。配置仓库或实验平台应能导出该字段的历史，而不是事后回忆。结果分析先读冻结的字段，再打开其余。若必须改定义（埋点发现算错），记录为偏离：新定义要么只用尚未暴露的数据，要么整场降为探索。审计抽查：结论里的主指标是否与开跑记录一致；不一致则结论降级。不要把“主指标”和“最后讲的那张图”混为一谈。
边界
序贯设计可以按事前规则在过程中停，停的是样本，不是改选终点。主指标是复合终点（先完成再无投诉）时，复合规则同样要事前写清，不能事后把复合拆开挑一段。平台故障导致原主指标不可用，可以启用事前写好的后备指标；没有后备而现场指定，仍是择优。探索性研究本来没有主指标，不要在探索结束时补一个主指标再假装这是一次确证实验。
怎么落地
- 分流开关打开之前，主指标字段必须已在实验平台冻结；冻结记录进实验单。
- 周会材料第一行引用冻结定义；与当前仪表盘不一致则先修定义，不改结论。
- 禁止在结果会上下拉选择“把哪一个设为主指标”。
- 验证：对照开跑当日的配置快照与结论页；指标或窗口不同，结论改为探索，不得作为放行依据。