该类指标是滞后的态度快照,不能证明因果关系
别名: 滞后指标 · 态度快照 · 推荐值非因果
概念解释
推荐值、满意度这类分数记录的是人们在填答那一刻,对一段已经发生的经历的陈述态度。它是滞后的态度快照(lagged attitudinal snapshot):事件在前,评价在后,中间隔着记忆、事后信息和愿不愿意填。分数随后上升或下降,只能说明“后来被问到的人给出了不同的陈述”,不能证明某次改版、某次活动或某个功能导致了态度变化。没有对照和时间顺序上的处理分配,涨跌与原因之间缺了一环。
机制
填答者调用的是压缩过的记忆,不是当时的行为轨迹。一次客服冲突、一条新闻、一次账单,都可以在产品未改的情况下改写回顾。问卷还往往在旅程结束后才出现,漏掉过程中的犹豫和放弃。谁愿意停下来打分,本身已经过筛选。把这条曲线和发布日历对齐,人眼会把最近的改动认领为原因,这是时间邻近造成的故事,不是识别策略。态度陈述也不等于事后的推荐行为:说“会推荐”和真正开口是两件事。快照可以当天气记录,不能当施工日志。
怎么研究
要主张某处理导致分数变化,需要把处理从同时发生的季节、营销、发卷规则和样本构成里隔开:同期对照、交错推出或至少预注册的中断时间序列,并核对待填人群是否在处理前后保持可比。把分数与同一窗口的行为(完成、复购、投诉、真实分享)并排,检查它们是否同向;分叉时优先解释测量或样本,而不是产品因果。交叉相关和“发布后的第一个高峰”不足以识别。报告里把描述性趋势和因果主张分成两段,禁止用同一张折线图承担两种语言。
边界
作为监测警报,快照可以提示“陈述变了,去查”,警报不是归因。实验室里立刻打分的任务后问卷缩短了滞后,仍只覆盖愿意留下的人,也不能把实验室任务等同于市场因果。若处理本身就是“改问卷时机或题干”,分数移动测的是测量过程,更不能写成产品效果。长期品牌跟踪可以描述缓慢漂移,但漂移的原因集通常比单次发布更大。
怎么落地
- 分数涨跌只触发调查清单,不触发“因为上线了 X”的对外叙事。
- 因果句必须另有对照设计;只有一条公司总分曲线时,结论写成描述。
- 把发卷规则、营销日历和版本发布画在同一时间轴上,先排除测量与活动再谈产品。
- 验证:拿掉发布日期标注后,独立同事能否从曲线读出同一个原因;若不能,禁止把该原因写进发布说明。