Q3.13.1Statistical significance is not shipping justification设计研究
统计显著不等于值得改动
别名: 实践意义 · 统计显著 · practical significance
概念解释
统计显著（statistical significance）只说明：若零假设为真，当前这种差异（或更极端的差异）很少见。它不回答改动值不值得做。一次按钮文案试验可以在预设阈值下显著，同时只多转化极少数人，却要付出工程、客服、无障碍回归和品牌风险。把显著当作发布许可，是把假设检验的拒绝规则误当成决策规则。
机制
检验回答的是“相对于随机波动，这个差值是否像噪声”，决策回答的是“考虑到代价、可逆性、机会成本和谁会受损，是否行动”。两套问题共用同一组数字，标准却不同。代价高、伤害不对称或难以回滚时，即使差值看起来不像噪声，仍可能不应改。代价极低且方向清晰时，未过显著阈值也可能值得小范围试。显著性阈值本身是约定，不是损失函数；组织若把“显著”写进发布清单，等于用一个与改动成本无关的开关代替权衡。
怎么研究
在看结果之前写下最小值得行动的效应（smallest effect size of interest）：多大的变化才配得上这次改动的成本与风险，以及反向多大的伤害会阻止发布。分析计划同时规定检验和决策：显著但小于该阈值则不发布；不显著但区间整体落在有害一侧则停止而不是“再试到显著”。把工程工时、支持负载、迁移成本和不可逆性写成显式输入，而不是事后口算。复现时重复的是决策规则，不只是 p 值是否再次低于阈值。
边界
监管、安全或无障碍上的硬约束可以让“有无差异”本身成为决策对象，此时显著与否更接近合规检查，但仍需报告效应方向和幅度。探索性结果达到显著，并不能补上事先缺失的行动阈值。当主要成本是政治或沉没成本，而不是用户后果时，用显著来结束争论尤其危险：它提供了停止思考的仪式，而不是权衡。
怎么落地
- 立项时写清：要看到多大的改进才值得改，以及多大的回退必须停。
- 结果页同时放显著结论、效应幅度和事先阈值；禁止只贴“显著，建议全量”。
- 显著但未过行动阈值时，记录为“可分辨、不值得做”，不要改阈值去迁就发布。
- 验证：让未参加试验的同事只看效应幅度与成本，不看 p 值，判断是否改；若判断与“看 p 值后的结论”系统性相反，说明显著被当成了决策。