Q6.03.2Guardrail metrics设计研究
需要护栏指标防止片面优化
别名: 护栏指标 · guardrail · 约束指标
概念解释
护栏指标（guardrail metrics）是与北极星配对的约束：北极星被允许上升，但指定的其他结果不得越过底线。退订率、任务失败、客服升级、崩溃、投诉，常被放在这个位置。护栏不是第二套北极星，也不参与“谁更大”的竞赛；它只回答“这个方向上的移动是否踩到了不可接受的边”。没有护栏的单一方向，会把一切能抬升北极星的杠杆合法化。
机制
北极星给出梯度，护栏给出可行域。优化过程会沿着梯度走到约束边界：加频次能抬活跃，直到退订和投诉顶住；减步骤能抬完成，直到风控失败顶住。把这些边界写成必须监视的计数，等于事先承认单一方向会过冲。护栏起作用的条件是它真的能否决：实验即使北极星显著变好，护栏击穿仍不得全量。若护栏只是“也看一眼”的并列图，它会在冲突时让位，因为组织已经把奖励绑在北极星上。选择护栏时要找北极星最容易伤害的那几条边，而不是再列一排友好的相关指标。
怎么研究
从历史全量事故中反推：北极星上升期间，最先恶化且后来被确认为伤害的是哪些计数，那些就是候选护栏。在实验平台上把护栏做成硬门：统计因护栏否决而停止全量的比例，以及否决后若强行全量会发生什么（可用小流量或事后回滚观察）。比较“只有北极星”和“北极星加护栏”两种门控下，相邻伤害指标的净变化。护栏本身若从未被触发，可能阈值过宽或选错了边。
边界
护栏过多等于没有方向：每一列都能否决时，团队会停止行动。把收入、活跃、满意度同时设成护栏，会把北极星架空。护栏击穿需要有预定义的阈值和观察窗，否则“好像差一点”会变成随时可被游说的判断。护栏也不是惩罚列：它约束过冲，不要求这些计数本身被优化到最好。与北极星高度共线的计数当不了护栏，因为它不会在过冲时单独报警。
怎么落地
- 为北极星列出它最容易伤害的二到四条边，各设一个护栏和不可越过的阈值。
- 实验通过规则写成合取：北极星达标且无一护栏击穿；缺任一条件不得全量。
- 护栏只监视、不设上升目标，避免它自己变成第二颗星。
- 每半年用事故清单校对护栏集合：从未报警的边考虑更换，新出现的伤害边考虑补上。