Q6.08.1Co-movement is not causation设计研究

两类指标同向变化不能证明体验指标是业务结果的原因

别名: 同向非因果 · spurious UX-business correlation · 共变误当因果

概念解释

体验指标与业务指标一起上升或一起下降,只说明它们在这段时间里共变。共变不是因果(co-movement is not causation):不能从“满意度与收入同向”推出“把满意度做上去收入就会来”。共同原因很常见——旺季、投放、价格、产品爆款——会同时抬起两列。把共变当成因果,后续就会只优化那条好做的体验列,并在业务未跟随时感到被度量背叛。

机制

两条时间序列共享日历。营销日历、节假日、版本火车和获客结构都在同一条时间轴上留痕,于是许多列会看起来步调一致。相关和同步可视化不区分:体验导致业务、业务导致体验(付费后服务变好)、第三因素带动两者。体验工作特别容易掉进第一种叙事,因为它符合职业身份。共变还受构成效应推动:新客涌入时体验分和收入可以一起涨,只是因为进来的人还没遇到深层失败。没有对照、没有对共同原因的处理、没有时间顺序之外的机制故事,同向变化只能支持“它们这段时间没分开”,不能支持“这一列是那一列的原因”。

怎么研究

先列出同向期间所有同时发生的投放、价格、版本和季节事件,作为共同原因候选。用对照、工具变量或至少是错开的发布,而不是全站时间序列相关,来检验体验干预是否移动业务列。报告中把“共变”“领先”“因果”分成三档声明,禁止用相关图直接写“因此”。阴性对照也有用:找一个按机制不应影响业务的体验改动,若业务列仍同向,说明共变来自日历而非该体验。

边界

在机制清晰、干扰很少的短路径上(修复导致无法付款的错误),共变可以是因果的弱暗示,仍应尽量用对照确认。长期稳定的领先关系提高因果的先验,但不完成证明。拒绝共变不等于拒绝体验工作:它只拒绝把共变当验收。无法做对照时,应把结论停在“尚未分离共同原因”,而不是升级成“已证明体验驱动业务”。

怎么落地

  • 两列同向时,先开一份同时事件清单,空清单才能进入因果讨论。
  • 体验方案若声称业务影响,必须有对照或明确的准实验,而不是全站相关截图。
  • 对外叙述把“一起变”和“导致”分成两种句子,不得混用。
  • 共同原因无法排除时,体验列的成功按体验目标验收,业务列另行观察,不互相证明。

延伸

  • 同组Q6.08.2 找不到对应业务影响的体验指标应重新审视其存在价值 · Q6.08.3 体验指标到业务结果之间的因果链条需要显式建模而非假定 · Q6.08.4 只优化业务指标会在体验指标无声下滑后才暴露问题
  • 相邻Q6.04 体验与业务指标 · Q3.13 显著性与实践意义
  • 站内检索co-movement is not causation · confounding · UX-business correlation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q6.08.1