U7.05.5The comparison period's statistical scope must match the current period's设计研究

基准期的统计口径必须与当期一致

别名: 统计口径 · 口径一致性 · 可比性

概念解释

统计口径指指标的定义边界:把哪些事件算进来、怎么去重、按哪个时间戳归期、分子分母各用什么字段。同比与环比预设了一个前提——基准期的数据和当期的数据量的是同一件事;口径一旦变了,比值比较的不再是业务变化,而是定义变化。这种失真不产生错误数值,每个数都对,但放在一起读出的结论是错的。

机制

失真的根源在于百分比变化的数学结构只处理数值,不处理语义:公式 (当期 - 基期) / 基期 假设两个操作数共享同一个度量空间。当口径变化时(新增渠道纳入统计、去重规则从设备改为账号、归因窗口从 7 天改为 28 天),分子分母各自度量不同的东西,比值的意义被破坏,但数值仍然计算成功且看起来正常。人是视觉模式识别者:仪表盘上增长曲线的形状不变,读者不会主动去查定义是否变了。这类失真之所以难以察觉,正因为它在视觉层面完全无痕——没有 NaN、没有断轴、没有颜色异常。对策是把口径变化作为一等事件:口径变更必须打上标记并在时间轴上可见(垂直参考线加注释),受影响的对比区间显式标注"口径已变更,不可比"。

怎么研究

研究口径不一致的影响需要构造已知答案的合成数据:在同一底层事件序列上施加两种口径(如不同的去重规则),计算两组百分比,量化口径变化引入的假信号幅度。变量包括口径差异的类型(定义扩展、归因窗口、去重规则)与底层趋势的真实幅度。在仪表盘评估中,可测量用户对"口径已变更"标注的注意率与后续解读准确率,验证标注设计是否足以阻止错误结论。方法论的注意点:口径变化在真实数据中往往与真实业务变化同时发生,天然混淆,合成数据是隔离因果的唯一干净途径。

边界

口径不一致与数据质量问题(迟到事件、数据管道延迟)是两类不同的失真:前者是定义变了,后者是数据没到齐。两者的对策不同——口径问题需要标注与文档,延迟问题需要刷新提示与补数机制。口径一致不保证可比性:季节性、一次性事件、宏观冲击都会让两个口径一致的时间段不可比,这只是必要条件而非充分条件。对于探索性分析场景,允许用户自由改口径是合理功能,但改动必须立即可见且可回溯。

怎么落地

  • 仪表盘上每个指标的口径定义可达:悬浮或点击即可看到指标字典条目(分子、分母、去重规则、归因窗口、时间戳字段)。
  • 口径变更日沿时间轴打垂直标记,变更前后各 30 天的对比区间显示"口径不可比"提示条。
  • 指标字典集中管理,口径变更走审批并在字典条目中保留版本历史。
  • 验证:抽查看板中所有百分比对比,逐一核对分子分母在当期与基期是否用了相同定义;发现定义不一致即不可比实例。

延伸

  • 同组U7.05.1 单个数值只有与某个基准比较后才有意义 · U7.05.2 环比受周期性干扰,同比消除周期但反应滞后 · U7.05.3 基准的选择可以决定同一指标被读成上涨还是下跌 · U7.05.4 基数很小时百分比变化会被放大到失真
  • 相邻U10.02.1 时间窗口的选取决定趋势方向 · U10.04.4 检查不确定性、缺失比例与样本量是否已标注
  • 站内检索metric definition · statistical scope · comparability

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/U7.05.5