Q3.14.7Major redesigns invalidate historical baselines设计研究
大改版后历史基准失效，需要重新建立对照周期
别名: 历史基准失效 · 对照周期 · new comparison window
概念解释
大改版改变的不只是几个控件，而是用户完成任务的路径、习惯和参照。改版前的转化、时长和满意度是在旧路径上测得的，不能再当作新路径的历史基准（historical baseline）。要判断新版好不好，需要一段新的对照：保留部分用户在旧版、用同时期对照组、或在新版上重新积累稳定期再比后续改动。把去年同周的数字直接叠到新版上，比较的是两套产品，不是同一种体验的起伏。
机制
基准要有效，必须假设“若未改动，指标会像过去那样走”。大改版打破这个反事实：信息架构、默认值和视觉层级一起变，连错误的形态都不同。新奇和学习还会让改版后最初一段根本不是新系统的稳态，拿它去比旧稳态，差值里装满瞬态。季节对齐（去年春节对今年春节）只能控制日历，不能重建旧界面。此后每一次小优化若仍引用改版前的总基线，会把大改版的台阶与后续微调混在一条趋势里，既夸大也冤枉后续改动。
怎么研究
改版前决定对照策略：同步保留旧版流量、分阶段灰度、或明确宣布基准断裂并开始新序列。断裂点在分析里写死，趋势图在该点断开，不连成一条线。新序列的前段标为瞬态，稳态开始日另定。后续实验以新稳态为对照，而不是以改版前总均值。若无法保留旧版，可用未暴露新版的队列或外部几乎未改的任务作为弱对照，并在限制里写明反事实不完整。
边界
局部改动——换一句文案、一个颜色——通常不使整条历史基准作废，仍可用改版前窗口，只要步骤定义没变。完全没有对照的强制全量，只能做描述，不能做因果。新基准也不是越早定越好：瞬态未结束就锁基线，会把低谷或高峰写进“正常”。对照周期的长度仍由使用节奏决定，但这里的要点是基准对象换了，不是把观察窗拉长就能沿用旧尺子。
怎么落地
- 大改版发布说明里写“历史趋势在此断开”，仪表盘在该日插入断点，禁止自动把新旧连成同比。
- 至少保留一条同步旧版或延迟全量的对照，直到新版达到预先定义的稳态。
- 改版后的第一次优化试验，明确对照是新版稳态而不是去年数字。
- 验证：用改版前均值给新版打分，再用同期对照打分，若结论相反，停止使用历史均值做发布判断。