Q3.14.2Learning costs temporarily depress metrics for existing users设计研究

老用户的学习成本会短期压低指标

别名: 学习成本 · 切换成本 · relearning cost

概念解释

熟练用户把旧界面编进了动作记忆和预期位置。改版打乱这些记忆时,他们会找错入口、多走步骤、求助或推迟任务,完成率和速度在短期内下降。这是学习成本(learning / switching cost),不是新方案的稳定表现,也不是新奇带来的额外点击。压低发生在已经会用旧版的人身上;从未用过旧版的人没有这份重学负担。

机制

专长对位置和流程的依赖很强。菜单搬家、手势更换、默认值变化会把自动化动作变成受控搜索,错误和时间上升,部分人会暂时退回旧路径或减少使用。随着练习,新映射被重新自动化,指标回升,有时超过旧基线。回升需要重复暴露,因此低频用户的低谷更长。若新结构与旧心智模型冲突很大,一部分人会在学会之前离开,使后来的平均值只反映留下来并完成重学的人。学习成本的方向通常是先变差,与“因为新鲜而多用”不是同一条机制。

怎么研究

按改版前的使用深度分层:高频老用户、低频老用户、全新用户。预期是老用户在改版后短暂变差、全新用户没有对应的低谷。记录错误、回退、搜索查询和完成时间,而不只是活跃。对照若仍使用旧版,可分离学习成本与同期外部事件。追踪个体相对自己基线的变化,避免被新用户涌入稀释。若低谷在高频用户中更快结束,支持练习驱动的重学;若所有老用户持续低迷,更像方案本身更差。

边界

对几乎没有旧习惯的新市场或全新产品,学习成本不是主因。把所有控件换皮但信息架构不变时,视觉新奇可能盖过重学。强制培训或现场支持会缩短低谷,实验室里看到的恢复也会快于无人帮助的现场。若旧版本来就难用,老用户的“专长”是在绕过缺陷,打乱它既是成本也是清理;此时短期压低仍真实,但不能据此断言新版更差。

怎么落地

  • 大改版时为熟练用户提供可发现的新位置映射(过渡期双入口、搜索、简短对照),并测量这些辅助撤掉后指标是否仍回升。
  • 不要用改版后两三天的完成率给老用户体验下定论;把他们单独画出来,等到重复使用发生后再比。
  • 若老用户持续低于自己的旧基线而新用户表现正常,优先修可学习性,而不是立刻全盘回滚。
  • 验证:比较改版前 30 日活跃的人与全新用户在改版后一周的任务成功;仅前者下降,则将该下降标为学习成本。

延伸

  • 同组Q3.14.1 改动初期的指标变化可能是暂时的 · Q3.14.3 需要足够长的观察窗口 · Q3.14.4 新奇效应通常先升后降,学习效应通常先降后升 · Q3.14.5 区分两者需要分人群比较,只看总体曲线容易混淆 · Q3.14.6 参与度类指标比任务成功率更容易受新奇效应影响 · Q3.14.7 大改版后历史基准失效,需要重新建立对照周期
  • 相邻Q3.06 任务成功率 · Q3.07 任务完成时间
  • 站内检索learning cost · switching cost · skill disruption

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.14.2