Q3.14.6Engagement metrics pick up novelty more than task success设计研究
参与度类指标比任务成功率更容易受新奇效应影响
别名: 参与度指标 · 任务成功 · novelty-sensitive metrics
概念解释
点击、会话时长、页面浏览、功能打开次数等参与度指标会直接清点探索行为，因此对新奇敏感。任务是否在标准内完成，测量的是结果而不是逛了多少，通常不因“想看看新入口”而同步暴涨。改版后参与度上升、成功率不动或下降，更像探索而不是体验变好。用参与度当主指标，等于给新奇一张更容易报警也更容易报喜的量表。
机制
探索会产生额外的低目标事件：打开新标签、反复进出、把教程点完。这些事件进入参与度的分子，却不一定进入成功的分子。成功率的分母是尝试完成某任务的人，分子是达到预先定义结果的人；多逛一圈既不记成功也不必然记失败。时间类参与度还会把迷路计成“更投入”。新奇消退后，参与度往往比成功率掉得更明显，因为被撤走的正是那些无任务事件。学习成本则更常打在成功与耗时上：人仍在尝试任务，只是做砸或做慢，参与度可能看起来还行。
怎么研究
预先把指标分成参与度与任务结果两类，主决策落在后者。发布后并行报告两类曲线：若仅参与度先升后降而成功平坦，将升段归为新奇。对参与度做“去重到任务尝试”的敏感性分析，看涨幅是否还在。会话级的成功、错误、求助与点击量一起看，避免用总点击解释体验。实验室或远程测试里，给相同任务，比较探索性点击与任务完成，作为现场参与度涨幅的参照。
边界
内容产品和信息流的“任务”本来就是浏览，参与度与价值更接近，但不能因此把无目标刷新当成质量。成功率接近天花板时对新奇不敏感，也会对真实改善不敏感，需要更细的质量或代价指标。有些新奇表现为回避，参与度会先降，此时更要靠任务结果判断是不敢点还是真的更难用。广告或推荐位改动会同时拉动参与度与转化，需要按漏斗下游结果校准，而不是宣布参与度一律不可信。
怎么落地
- 改版成功标准以关键任务完成、错误和时间为准，参与度只作伴随观察。
- 当周报出现“活跃/时长大涨、任务成功没有动”时，将涨幅标为待消退，不写入成效。
- 为新入口单独建“打开但未完成任务”的计数，用它监视探索。
- 验证：撤掉新奇提示后参与度是否回落、成功率是否仍在；若只有前者回落，参与度涨幅不计入方案评价。