Q3.14.4Novelty and learning produce opposite metric trajectories设计研究

新奇效应通常先升后降,学习效应通常先降后升

别名: 先升后降 · 先降后升 · novelty versus learning curve

概念解释

两条常见的发布后轨迹方向相反。新奇效应把注意和使用暂时抬高,随后回落到与价值相符的水平,形状是先升后降。学习效应让熟练用户先变笨、再随练习恢复,形状是先降后升。只看终点或只看第一天,会把一条轨迹误认成另一条:新奇的回落被当成产品失败,学习的低谷被当成方案更差,学习的回升被当成新奇尚未退尽。

机制

新奇由刺激驱动:没见过的东西产生探索事件,刺激减弱后事件消失,曲线从峰值下落。学习由技能中断驱动:旧自动化失效使错误和时间上升,重复暴露重建自动化后曲线从谷底回升。两者可以叠在同一条总体曲线上,峰值和谷底互相抵消,看起来像“没什么变化”。方向本身是诊断线索,不是定律:新奇若表现为避开(觉得乱而少用),也可能先降;学习若表现为发现隐藏功能,也可能先升。默认预期仍是这一对相反的形状,偏离时需要额外机制。

怎么研究

以发布为原点画分组后的时间序列,看前段斜率的符号和是否反转。新奇主导时,早期正斜率随后变负,并常与提示、角标、宣传同步。学习主导时,早期负斜率随后变正,并与重复使用次数同步。用拐点时间、峰值或谷底深度、恢复后的平台与发布前基线的关系来描述形状,而不是用单一斜率。若只观察到一半形状(只升不降、只降不升),不要补上未发生的另一半来凑故事。

边界

形状是启发式。外部冲击、故障、价格和竞争可以制造同样的升或降。指标若有上限(成功率接近满分)会压扁上升段;若有下限(已经很低)会压扁下降段。不同指标可以同时走出相反形状:点击先升后降,完成时间先降后升,此时不是要选一条“真的”曲线,而是承认两种机制并行。没有足够重复使用,学习的后半段升不起来,曲线会停在谷底,不能把停住解释成新奇。

怎么落地

  • 发布后的读数会标形状:先升后降按新奇处理,先降后升按学习处理,禁止用第一天的方向外推终点。
  • 为预期中的峰值和谷底各设观察点,写明何种反转才进入稳定判断。
  • 当曲线没有反转就要求裁决时,延长观察,而不是把半截形状写成最终效应。
  • 验证:把发布后序列分成前段与后段斜率;若符号相反,报告中必须同时写两端,不得只引用其中一段。

延伸

  • 同组Q3.14.1 改动初期的指标变化可能是暂时的 · Q3.14.2 老用户的学习成本会短期压低指标 · Q3.14.3 需要足够长的观察窗口 · Q3.14.5 区分两者需要分人群比较,只看总体曲线容易混淆 · Q3.14.6 参与度类指标比任务成功率更容易受新奇效应影响 · Q3.14.7 大改版后历史基准失效,需要重新建立对照周期
  • 相邻Q3.12 漏斗与留存分析 · Q3.04 A/B 测试
  • 站内检索novelty curve · learning curve · non-monotonic treatment effect

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.14.4