Q6.05.1Goodhart's law设计研究

指标成为目标后即失去度量意义

别名: 古德哈特定律 · 指标即目标 · measure becomes a target

概念解释

Goodhart's law 说:当一项度量被当成目标来追求,它就不再是好的度量。会话时长曾经指示投入,一旦被写成成功标准,自动播放和无限滚动会把它抬上去,时长与投入的旧关系随之断裂。定律说的是度量地位的变化,不是某个人品不好。指标在未被优化时携带的信息,来自它与目标之间尚未被加压的相关;加压之后,相关本身是被优化过程改写的对象。

机制

一个指标能度量,是因为在当时的行为分布里,它和目标共变。把它设成目标,等于对这个共变施加选择压:能抬指标但不抬目标的策略会获得回报,能抬目标但不抬指标的策略会被放弃。分布因此从“自然共变”变成“为指标而行动”,原先的相关被掏空。界面尤其容易提供不经过目标的捷径:把按钮放大以提高点击,把确认做成可跳过以缩短时间,把调查弹出在刚完成的成功时刻以提高分数。度量意义的丧失是渐近的:早期指标仍大致可用,随着捷径被发现和复制,剩余信息越来越少。等到数字最好看的时候,它往往最不能代表目标。

怎么研究

比较同一指标在“仅观察”和“被写入目标”两个阶段与独立效标的相关,相关下降即定律在起作用。效标应尽量靠近目标且不进入奖励,例如未公布的日记任务成功、客服里的自发抱怨编码。也可以做杠杆审计:列出该指标被加压后新出现的界面策略,判断它们是否绕过目标。实验室里可用激励操纵:告诉一半参与者某行为会被计分,观察计分项与真实任务质量是否脱钩。

边界

定律不是说任何目标化都会立刻使指标无用。观察窗很短、行动空间很小、或指标几乎就是目标本身(监管要求的完成率)时,空洞化会慢得多。反过来,把定律当成“所以不要设目标”会让组织失去方向。需要的是承认目标化会消耗度量,而不是幻想一个永远不被优化仍保持有效的数字。已被压空的指标继续用来证明成功,是二次误导。

怎么落地

  • 任何准备写入规划的指标,先问:有哪些不经过目标就能抬它的界面捷径。
  • 保留至少一个不进入奖励的效标,用来监视主指标与目标的相关是否在下降。
  • 主指标与效标脱钩时,停止用主指标宣布成功,先修复捷径或更换指标。
  • 不要用“再加权重做成综合分”回避定律:综合分被当成目标后,同样会被压空。

延伸

  • 同组Q6.05.2 代理指标与真实目标存在缝隙 · Q6.05.3 需要定期检验代理关系是否成立
  • 相邻Q6.09 指标的可操纵性与代理失真 · Q6.03 北极星指标
  • 站内检索Goodhart's law · measure becomes a target · metric targetization

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q6.05.1