Q3.12.3Cohort analysis unmixes new and returning users设计研究

群组分析避免混淆新老用户

别名: 队列分析 · 同期群 · acquisition cohort

概念解释

群组分析(cohort analysis)按共同起点把用户分成同期群,通常是首次使用或首次付费的日期,再分别追踪他们随后的行为。把今天所有活跃用户混成一个池子,新用户的首次体验和老用户的习惯使用会互相稀释:产品正在高速获客时,总体留存会变差,即使老用户并未离开。群组把“谁在什么时候进来”固定住,才不会把用户构成变化读成产品变好或变坏。

机制

总体指标是当前在场者的加权平均。新用户比例上升时,尚未形成习惯的人会拉低留存和完成率;增长放缓时,剩下的多为已经筛选过的老用户,总体数字会自动变好看。这是构成效应,不是体验效应。按获取日锁定分母,每个群组的时间轴都从各自的起点计算,构成被冻结。群组也可以按渠道、设备或首次任务成功与否划分,原理相同:先保证比较的是同一类起点的人,再谈随后的变化。

怎么研究

先定义群组起点事件,并保证该事件在观察期内含义稳定。按日或周生成群组,绘制各群组随年龄变化的指标,而不是按日历日混合全站用户。比较相邻群组在相同年龄上的差异,用来评估版本或获客质量;比较同一群组随年龄的轨迹,用来评估习惯养成。报告时同时给出群组规模:很小的群组波动大,不宜单独下结论。探索性的事后分组(付费与否、是否打开某功能)会把结果变量写进分组规则,需标明是描述而非因果。

边界

群组不能消除起点事件本身的选择:用“首次付费”建群,已经丢掉从未付费的人。跨设备、注销重装、企业共享账号会把同一个人拆成多个起点。观察窗口未结束的最近群组,后期时点尚未发生,不能与成熟群组的同期数字直接比。当产品有强烈的星期模式时,按日群组会把周一获客和周末获客的差异当成版本差异,需要按周聚合或控制进入星期。

怎么落地

  • 把留存、激活和关键任务完成改成“某获取周的用户在第 n 日/周的表现”,停止用当日全体用户的混合率做版本对比。
  • 评审增长活动时,把新群组与活动前群组在相同年龄上对齐,而不是看活动周的总体留存。
  • 若新群组变差而老群组稳定,优先查获客来源和首次体验,而不是改老用户功能。
  • 在仪表盘上同时展示群组规模与年龄,未满观察窗的格子标为尚未到期。

延伸

  • 同组Q3.12.1 漏斗暴露流失位置而非原因 · Q3.12.2 留存曲线的形状比单点数值重要 · Q3.12.4 漏斗步骤定义不一致会让不同版本的转化率不可比 · Q3.12.5 多入口路径合并统计会掩盖某条路径的真实表现 · Q3.12.6 留存分析中的幸存者偏差会高估长期用户的典型体验 · Q3.12.7 滚动留存与经典留存的计算方式不同,不可混用比较
  • 相邻Q1.08 样本量 · Q1.04 抽样与代表性
  • 站内检索cohort analysis · acquisition cohort · composition effect

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.12.3