Q6.11.3Benchmark drift and recalibration设计研究
基准值会随行业整体变化而漂移,需定期重新校准
别名: 基准漂移 · benchmark drift · 重新校准
概念解释
三年前的“行业完成率 70%”或自己设定的及格线,会随着设备、网络、用户预期和竞品惯例一起移动。这是基准漂移(benchmark drift)。不重新校准,就会用一张过期地图判断当前位置:自己其实跟着行业在走,却被旧及格线判为优秀;或行业已经整体上移,自己持平被旧线判为合格。校准是更新比较的参照,不是改自己的口径来凑好看。
机制
体验的外部条件在变:支付一次确认变成生物识别,加载从三秒变成三百毫秒,隐私披露从可忽略变成强制。用户把新的惯例当成默认,旧的“还行”变成“不可接受”。内部及格线若锁在旧惯例上,会系统性地低估现在的失败。外部购买的基准报告同样在变,而且更新周期往往慢于产品。漂移还有构成:行业样本从早期采用者变成大众,分数的中位会自己走。不校准等于假设参照系静止,而体验竞争的参照系几乎从不静止。
怎么研究
把同一内部口径的分数对外部时间对齐,看行业中位或头部产品的轨迹;自己与参照的差随时间的变化,才是相对位置。对及格线做回溯:若每年用当年的外部中位重判一次“及格/不及格”,有多少季度的结论会翻面。也可以固定一组任务脚本,隔年重测自己和可测的外部对象,分离产品变化与参照变化。注意购买的基准报告换供应商或换样本框会造成假漂移,要先对齐方法再谈移动。
边界
有些底线不应随行业漂移,例如安全完成和法律告知;行业变松不是自己变松的理由。漂移校准不能用来把正在恶化的内部趋势说成“行业都这样”。新产品类别没有稳定外部参照时,校准周期可以更长,但仍应声明参照过期日。内部大幅改口径后,旧基准作废,应重开而不是“校准”。
怎么落地
- 每条外部及格线写上生效日期和下次校准日,过期则在报表上标为过期参照。
- 校准日用当年可对齐的外部中位或重测数据更新及格线,并保留旧线以便审计。
- 相对位置用“与当年参照的差”而不是与三年前绝对分数的差。
- 安全与法律底线单列,不参与随行业上移或下移。