长期保留对照组不接受改动是观测长期效应的常用手段
别名: 长期保留对照 · holdout · 永不接受改动的对照
概念解释
要看一项改动在数月后的净效应，常用做法是留出一群长期不接受该改动的对照（long-term holdout）：全量之后他们仍走旧路径，直到观察窗结束。短实验结束就全量，对照消失，之后的世界里再也没有“假如没改”可比较。Holdout 不是把实验多开几天，而是放弃让一部分人享受（或承受）新设计，换取一条仍干净的基线。
机制
全量会消灭反事实。长期效应要对比的是同一段日历里，改了的人和没改的人。日历上的季节、投放、竞品动作对两边都应发生，差别才可归于改动。若对照在第二周并入，第三周开始的信任下降就只能和历史自己比，而历史自己已经不是同一个世界。Holdout 的代价是机会成本、公平感和工程复杂度：新功能要能按人关闭，沟通上要解释为何有人一直看不到。它能观测长期效应，正是因为拒绝了“所有人最终都要一样”的发布本能。样本还要扛得住长窗流失，否则对照会在到期日塌掉。
怎么研究
预先计算到期日对照的剩余样本量与最小可检测效应，按流失后的 n 而不是实验首日的 n 来设计 holdout 比例。主分析保持意向处理：中途活跃变化不把人移出分组。记录污染：对照是否通过分享、客服或媒体接触到新设计。结束时比较 holdout 与处理在预注册的长期终点上的差异，并报告 holdout 期间发生的、本应对两边共同的外部事件。定性回访 holdout 用户，确认他们确实走的是旧路径。
边界
安全修复、法律强制和法律上必须人人一致的改动不能 holdout。Holdout 过久会变成对对照用户的歧视，尤其当新设计明显更好时，应有伦理上限和补偿。多改动叠加时，一个全局 holdout 分不清是哪一次改动的长期效应，需要按改动分层或接受只能估计组合效应。Holdout 也无法观测“全网都改之后的均衡”，例如所有人都收到更吵的通知之后的行业新常态。
怎么落地
- 对可能有月级以上效应的改动，发布方案里写清 holdout 比例、到期日和长期终点，到期前不得把对照并入。
- 工程上保证按用户关闭，并定期抽查 holdout 是否仍在旧路径。
- 把 holdout 的机会成本写进决策，而不是在全量压力下偷偷缩小对照。
- 到期分析未完成前，不得用短窗全量后的混合总量宣布长期成功。