Q6.11.3Benchmark drift and recalibration设计研究

基准值会随行业整体变化而漂移,需定期重新校准

别名: 基准漂移 · benchmark drift · 重新校准

概念解释

三年前的“行业完成率 70%”或自己设定的及格线,会随着设备、网络、用户预期和竞品惯例一起移动。这是基准漂移(benchmark drift)。不重新校准,就会用一张过期地图判断当前位置:自己其实跟着行业在走,却被旧及格线判为优秀;或行业已经整体上移,自己持平被旧线判为合格。校准是更新比较的参照,不是改自己的口径来凑好看。

机制

体验的外部条件在变:支付一次确认变成生物识别,加载从三秒变成三百毫秒,隐私披露从可忽略变成强制。用户把新的惯例当成默认,旧的“还行”变成“不可接受”。内部及格线若锁在旧惯例上,会系统性地低估现在的失败。外部购买的基准报告同样在变,而且更新周期往往慢于产品。漂移还有构成:行业样本从早期采用者变成大众,分数的中位会自己走。不校准等于假设参照系静止,而体验竞争的参照系几乎从不静止。

怎么研究

把同一内部口径的分数对外部时间对齐,看行业中位或头部产品的轨迹;自己与参照的差随时间的变化,才是相对位置。对及格线做回溯:若每年用当年的外部中位重判一次“及格/不及格”,有多少季度的结论会翻面。也可以固定一组任务脚本,隔年重测自己和可测的外部对象,分离产品变化与参照变化。注意购买的基准报告换供应商或换样本框会造成假漂移,要先对齐方法再谈移动。

边界

有些底线不应随行业漂移,例如安全完成和法律告知;行业变松不是自己变松的理由。漂移校准不能用来把正在恶化的内部趋势说成“行业都这样”。新产品类别没有稳定外部参照时,校准周期可以更长,但仍应声明参照过期日。内部大幅改口径后,旧基准作废,应重开而不是“校准”。

怎么落地

  • 每条外部及格线写上生效日期和下次校准日,过期则在报表上标为过期参照。
  • 校准日用当年可对齐的外部中位或重测数据更新及格线,并保留旧线以便审计。
  • 相对位置用“与当年参照的差”而不是与三年前绝对分数的差。
  • 安全与法律底线单列,不参与随行业上移或下移。

延伸

  • 同组Q6.11.1 内部基准反映自身趋势,外部基准反映行业相对位置,两者用途不同 · Q6.11.2 竞品指标的采集方法未公开时不可直接横向比较 · Q6.11.4 落后基准不必然意味着问题,需结合产品定位解释
  • 相邻Q6.12 度量的持续跟踪与告警 · Q6.05 指标的可操纵性
  • 站内检索benchmark drift · recalibration · moving reference

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q6.11.3