Q3.14.5Segmented comparison separates novelty from learning设计研究
区分两者需要分人群比较，只看总体曲线容易混淆
别名: 分人群比较 · 总体曲线混淆 · disaggregated trajectories
概念解释
新奇和学习可以同时发生在不同人身上：新用户和轻度用户被新东西吸引，熟练用户在重学中变慢。把所有人加总得到一条总体曲线时，上升与下降互相抵消，或只剩下人数占优那一侧的形状。于是团队以为“整体平稳”或“整体变好”，其实两个机制都在。要分开它们，必须按发布前的经验、使用频率或是否见过旧版来分组画线，而不是从一条混合轨迹上猜。
机制
总体曲线是各人群轨迹的加权和。权重大的一组决定可见形状。改版当周若大量新用户涌入，他们的探索会抬高总体，掩盖老用户的低谷；若用户基座以熟练者为主，总体会先掉，看起来没有新奇。混合还会制造假拐点：老用户开始恢复的日子碰上新用户热情消退，总体像“先降后升的学习”，其实是两组相位不同的运动。不拆组，形状诊断没有归属对象。
怎么研究
在看总体之前锁定分组变量，优先用发布前可观察的状态：是否在旧版完成过关键任务、过去若干日的活跃、来源是否为全新安装。每组单独估计发布后轨迹，并报告各组权重随时间是否变化。检验“组间形状是否相反或错相”。新用户组若只升后降、老用户组若只降后升，两种机制同时成立，总体曲线不作机制证据。避免用发布后才产生的行为来分组（例如“爱用新功能的人”），那会把结果写进分组规则。
边界
分组过细使每条线噪声变大，需要预先限制主对比组数。经验标签会错：重装用户被当成全新，共享设备把熟练者标成新手。有的产品几乎没有“未见过旧版”的人，此时分人群仍然有用（高频对低频），但不能构造出一条纯新奇对照。总体曲线在沟通容量和容量规划时仍有用，只是不能承担机制归因。
怎么落地
- 改版报告默认三张图：全新用户、低频老用户、高频老用户，总体图放最后并标明权重。
- 若三张图方向不一致，禁止用总句“用户喜欢/不喜欢这次改版”。
- 运营投放与改版重叠时，把投放带来的新用户单独成组，避免把获客当成新奇。
- 验证：去掉人数最多的一组后总体形状是否翻转；若翻转，说明先前读的是构成，不是统一机制。