Q3.14.3Observation windows must outlast novelty and learning transients设计研究
需要足够长的观察窗口
别名: 观察窗口 · 实验时长 · transient window
概念解释
新奇会消退，重学需要重复暴露。若观察在这两段瞬态结束前停止，读到的是过渡值，不是稳定效应。足够长的观察窗口按产品的使用节奏来定：每日使用的工具可能数周即可，按月办理的业务则需要数个自然周期。窗口不是越长越好，而是必须长过瞬态，并在日历干扰到来前结束或被对照吸收。
机制
瞬态的时钟是用户的接触次数，不是团队的冲刺。同一改动，高频用户三天走完的学习曲线，低频用户可能要一个月。窗口若只覆盖高频用户的恢复、不含低频用户的低谷，总体会过早显得“已经恢复”。新奇的消退同样跟接触和提示撤除有关。固定日历长度忽略了这些接触分布，会在一部分人仍处在探索或笨拙期时结算。季节、发薪日和版本强制更新会在窗口里加入与改动无关的跳跃，长度本身不能消除它们，需要对照或避开。
怎么研究
用改版前的使用间隔分布估计“大多数目标用户能完成若干次重复使用”需要多久，把该时长写成窗口的下限。预先划分瞬态段与稳定段，主估计只在稳定段上做。检查逐日或逐周效应是否仍在单方向移动：仍在移动就说明窗口不够。对低频关键任务，按业务周期而不是按日数取窗。报告实际接触次数的分位数，而不只是日历天数，以便判断窗口覆盖了什么样的练习量。
边界
无限延长窗口会撞上其他改动、营销和季节，把多个处理叠在同一估计里。合规或安全紧急上线不能等一个完整学习周期，但结论必须标为瞬态观察。新用户不断进入时，窗口再长也会一直混有第一次见到的人，需要按用户年龄截断后再估稳定效应。窗口长并不能补上缺失的对照：没有同时期对照组，长窗只是一段更长的前后对比。
怎么落地
- 在实验或灰度计划里写明窗口下限如何从使用间隔算出，并写明主结论使用哪一段。
- 若到计划结束日曲线仍未走平，延长观察或缩小发布，而不是按原日期出结论。
- 把“本周就要结果”的评审改到稳定段之后；急需的数字标明为瞬态。
- 验证：稳定段估计与含瞬态的全窗估计是否同号同级；若只在含瞬态时好看或难看，禁止用全窗做决策。