Q6.09.4Reverse metric for proxy distortion设计研究

需要配套的反向指标监控代理关系是否已经失真

别名: 反向指标 · counter-metric · 代理失真监视

概念解释

反向指标(reverse metric / counter-metric)专门监视代理与目标的关系有没有已经翻面。会话时长上升时,任务未完成率和主动关闭率若同时升,时长作为“投入”的代理已经失真。反向指标不是第二套要被抬高的成功标准,也不是保护其他目标的护栏;它问的是:这个代理现在还在指示原来那件事吗。失真一旦发生,主代理的上涨应被读成警报,而不是读成胜利。

机制

失真的典型形状是主代理与某个“若代理仍诚实就不该一起恶化”的观察开始同向。投入真的增加时,未完成应下降或至少不升;满意真的增加时,投诉和退订应下降。当主代理被捷径抬高,那些反向观察会先动。把它们写成正式计数,是给失真一个不依赖事后争论的信号。反向指标要选与主代理机制上相反、又仍靠近目标的量:不是随便找一个下跌的数。它必须不进入同一套奖励,否则团队会连反向一起刷平,监视失效。失真监视的价值在于及时性:关系已经断了还在用主代理宣布成功,是最贵的误读。

怎么研究

为每个加压中的代理预先指定一到两个反向指标及“同时恶化即失真”的规则,用历史捷径事件做回测,看反向是否先于独立效标报警。比较有无反向监视的产品线,在代理创新高期间目标效标的漏检率。也可以做注入:安全地引入已知的刷法,检验反向是否按规则触发;不触发则选错了反向,或阈值过宽。

边界

反向指标与护栏常被放在同一张表上,职责不同:护栏保护别的目标不被北极星踩穿,反向保护代理自己的含义。把反向写成也要优化的目标,会制造新的单点。反向过多会变成另一张过载表。有些主代理的恶化本就与反向同向(系统故障时时长和失败一起升),需要故障标记,以免把事故读成刷指标。反向也不能替代定期用独立效标做的关系检验,它只提供日常的失真哨兵。

怎么落地

  • 每个进入奖励的代理配一条反向指标,写明“主升且反向恶化 = 失真,禁止宣布成功”。
  • 反向指标不设上升目标,不进入个人考核。
  • 用一次已知刷法做演练,反向必须报警,否则换观察。
  • 失真触发后主代理降为监视,先关掉捷径或更换代理,再谈成绩。

延伸

  • 同组Q6.09.1 指标一旦被用作考核依据,团队会优化指标本身而非其代表的目标 · Q6.09.2 单一代理指标容易被针对性刷高而不改善真实体验 · Q6.09.3 交叉使用多个代理指标可以降低被单点操纵的风险
  • 相邻Q6.05 指标的可操纵性 · Q6.03 北极星指标
  • 站内检索reverse metric · counter-metric · proxy distortion

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q6.09.4