长期效应需要长周期实验才能观察
别名: 长周期实验 · long-running experiment · 长期效应观察
概念解释
习惯养成、信任变化、学习曲线和新奇消退，都不会在几天的对照里走完。要观察这些长期效应，实验的持续期必须覆盖效应自己的时间尺度，而不是覆盖迭代会议的时间尺度。这叫长周期实验（long-horizon experiment）。两周的转化对照可以回答“当下会不会多点一下”，回答不了“三个月后还会不会把通知留着”。把短实验的无发现读成长期无效应，是把观察窗当成了现象本身。
机制
效应曲线有形状。新奇在前几天抬起使用，随后回落；学习在前几次失败后才显现为速度；信任在若干次兑现或失信之后才移动。短实验截取的是曲线的起始段，起始段的符号甚至可以和后段相反。此外，有些效应要通过日历周期才出现：账单日、学期、换季、年费。实验若在这些周期之前结束，对应的行为尚未发生，方差里全是尚未到期的空白。长周期不是把同样的日指标多画几天，而是让分母里的人有机会经历那些会改变行为的事件。代价是污染、流失和中途改版，所以长周期实验要提前设计谁保持不变、什么允许中途发生。
怎么研究
先为声称的长期效应写出最小可观察窗（例如两个计费周期、一次完整的新手到熟练路径），再决定实验时长，而不是先定两周再看能说什么。主分析用群组年龄而不是日历日，避免后期新加入者把曲线抹平。预先声明哪些中途改版会终止实验、哪些可以分层消化。功效计算必须按长期窗的流失后样本量来做，按第一周样本算功效会系统性乐观。短窗结果可以当作早期停止规则的输入，但不能替代到期分析。
边界
并非每个问题都需要长周期：文案正误、无障碍命中、崩溃修复可以在短窗下结论。把所有实验拉长会阻塞迭代。有些长期效应在伦理上不能靠对照制造，只能用自然变化或回顾。长周期仍回答不了实验结束后更晚的世界，只是把窗从过短推到够用。中途全量会毁掉对照，长周期实验对发布纪律的要求高于短实验。
怎么落地
- 在方案里写明该效应的最小观察窗，实验结束日不得早于该窗。
- 用群组年龄报告长期指标，并标出尚未到期的格子，禁止用未到期数据下结论。
- 长周期进行中冻结会污染主效应的改版，或把它们登记为分层因素。
- 短窗好看而长窗未到，状态是“尚未可判定”，不是“已成功、长期待观察”这种半宣布。