Q3.04.4Short-horizon A/B lifts versus long-horizon harm设计研究
短期指标提升可能带来长期损害
别名: 短期指标 · 长期损害 · 实验窗口错配
概念解释
A/B 测试的主指标几乎总是落在短窗口里：数天到数周的点击、转化、当次完成。窗口内的提升可以与窗口外的损害并存——退货、投诉、次月留存下降、信任被透支。实验宣布胜出时，长期结果尚未发生，于是损害进不了决策。问题是指标与效应在时间上错配，不是随机分流失效。把七天转化写成“更好的体验”，等于用一张还没拍完的照片结束评价。
机制
短窗口选择能立刻改变的行为：更急的按钮、更满的默认勾选、更早索取权限。这些操作把本会稍后拒绝的人提前送进成功事件，成功被计进分子，拒绝被推到窗口之外。损害的时间常数更长：账单周期、习惯形成、口碑、监管投诉。主指标越靠近漏斗顶部、窗口越短，这种时间套利越容易赢。发布后全量切换还切断了对照，长期损害即使出现，也失去了可归因的另一臂，只能在事后故事里争论。
怎么研究
预先把短窗主指标与长窗守卫指标成对写下（例如七日转化对对三十日留存、退款、重复投诉），实验在短窗结束时只允许“待决”，守卫指标到期后才宣布。分析应报告两套结果，而不是用短窗胜出覆盖长窗。若无法把对照臂保持到长窗，至少保留分层抽样的长期跟踪，承认因果强度下降。模拟或历史实验回放可以展示：只看短窗会选出哪一臂，看完长窗会选出哪一臂。
边界
一次性、无后续关系的任务（活动页、单次查询）长期损害可能本来就不存在，短窗足够。订阅、信贷、健康、内容推荐等存在延迟代价的领域，错配几乎是默认风险。长窗不是越长越好：窗口长到业务已经改了三次，对照臂失去含义。守卫指标必须在实验前指定；到期后才去长窗里找一个下跌，是另一场挑选。
怎么落地
- 实验协议写死：短窗指标只能触发“继续观察”，守卫指标到期且未恶化才能发布全量。
- 对会改变默认承诺、价格显示或权限的改动，守卫至少覆盖一个完整账单或使用周期。
- 短窗已胜、长窗未到的方案不得写入季度胜利；状态保持“待决”。
- 回溯近两次全量发布：若短窗指标升而随后留存或投诉恶化，把该类改动的默认窗口加长，而不是再开一轮更短的实验。