指标成为目标后即失去度量意义
别名: 古德哈特定律 · 指标即目标 · measure becomes a target
概念解释
Goodhart's law 说:当一项度量被当成目标来追求,它就不再是好的度量。会话时长曾经指示投入,一旦被写成成功标准,自动播放和无限滚动会把它抬上去,时长与投入的旧关系随之断裂。定律说的是度量地位的变化,不是某个人品不好。指标在未被优化时携带的信息,来自它与目标之间尚未被加压的相关;加压之后,相关本身是被优化过程改写的对象。
机制
一个指标能度量,是因为在当时的行为分布里,它和目标共变。把它设成目标,等于对这个共变施加选择压:能抬指标但不抬目标的策略会获得回报,能抬目标但不抬指标的策略会被放弃。分布因此从“自然共变”变成“为指标而行动”,原先的相关被掏空。界面尤其容易提供不经过目标的捷径:把按钮放大以提高点击,把确认做成可跳过以缩短时间,把调查弹出在刚完成的成功时刻以提高分数。度量意义的丧失是渐近的:早期指标仍大致可用,随着捷径被发现和复制,剩余信息越来越少。等到数字最好看的时候,它往往最不能代表目标。
怎么研究
比较同一指标在“仅观察”和“被写入目标”两个阶段与独立效标的相关,相关下降即定律在起作用。效标应尽量靠近目标且不进入奖励,例如未公布的日记任务成功、客服里的自发抱怨编码。也可以做杠杆审计:列出该指标被加压后新出现的界面策略,判断它们是否绕过目标。实验室里可用激励操纵:告诉一半参与者某行为会被计分,观察计分项与真实任务质量是否脱钩。
边界
定律不是说任何目标化都会立刻使指标无用。观察窗很短、行动空间很小、或指标几乎就是目标本身(监管要求的完成率)时,空洞化会慢得多。反过来,把定律当成“所以不要设目标”会让组织失去方向。需要的是承认目标化会消耗度量,而不是幻想一个永远不被优化仍保持有效的数字。已被压空的指标继续用来证明成功,是二次误导。
怎么落地
- 任何准备写入规划的指标,先问:有哪些不经过目标就能抬它的界面捷径。
- 保留至少一个不进入奖励的效标,用来监视主指标与目标的相关是否在下降。
- 主指标与效标脱钩时,停止用主指标宣布成功,先修复捷径或更换指标。
- 不要用“再加权重做成综合分”回避定律:综合分被当成目标后,同样会被压空。