Q3.14.1Early metric shifts after a change can be transitory设计研究
改动初期的指标变化可能是暂时的
别名: 新奇效应 · 短期指标波动 · novelty effect
概念解释
界面或功能刚出现时，用户会因为新鲜去点击、浏览和尝试，指标随之跳动。这种新奇效应（novelty effect）随熟悉而消退：同样的入口不再被专门点开，会话时长和功能使用回到与价值匹配的水平。改动后最初几天或几周的升降，因此可能是暂时的注意，而不是稳定的体验改善或恶化。把窗口截在新奇尚未退尽时，等于把好奇心当成了产品结果。
机制
新刺激会暂时提高探索。角标、改版引导、位置变化和社交谈论都把注意吸到新东西上，即使它并不更好用。探索产生额外事件：多打开几次、多完成一次“看看是什么”的任务、把旧路径搁置。当刺激不再新，探索停止，事件量回落到由任务频率和替代成本决定的基线。若新功能的真实价值低于探索期所表现的，指标会从高处跌回；若本来就没有价值，探索期的繁荣是一次性的。新奇不是学习：它不要求掌握新操作，只要求“还没看过”。
怎么研究
把发布后的时间分成探索窗和稳定窗，预先根据功能被注意到的半衰期来划界，而不是看完数据再选好看的日子。主结论用稳定窗；探索窗只描述早期轨迹。对照应与处理组同时经历日历事件，避免把节日流量当成新奇。若有未看到改动的对照组，比较两组差距随时间是否收窄：收窄是新奇消退的证据。对同一用户的重复暴露建模，检验第二次、第三次接触时增量是否衰减。
边界
极少使用的功能可能永远走不出“第一次见到”的状态，新奇与真实采用叠在一起，短窗看不出消退。强制使用、没有替代路径的工作系统，探索余地小，新奇对核心任务指标的影响也弱。媒体曝光或运营活动会造成第二波新奇，看起来像效应复燃。新奇消退后的水平仍可能高于或低于旧版，暂时性并不等于最终无效，只等于初期数字不能单独做结论。
怎么落地
- 发布计划写明：前若干日的指标只作观察，不作为全量或回滚的唯一依据。
- 把“上线三天暴涨”从成功标准里删掉；成功标准绑定稳定窗的幅度。
- 对带强视觉提示的新入口，单独跟踪提示撤掉之后的使用，而不是把带提示期间的点击当采用。
- 验证：画出发布后逐日曲线，若高峰只出现在提示和宣传期、之后回到发布前，则将该高峰标为新奇，不写入成效。