作为指标易被优化行为污染
别名: NPS 被优化 · 古德哈特效应 · 指标污染
概念解释
当 NPS 从描述性数字变成考核、奖金或发布门槛时,它服从古德哈特效应(Goodhart's law):一旦指标成为目标,它就不再是好指标。污染来自改变测量过程,而不必来自产品变好——教用户“9 分以上才算推荐”、在不满用户离开前拦截不发卷、把低分申诉掉、用礼品捆绑打分。分数上升此时测量的是组织学会了如何生产高分,不是推荐意愿的真实移动。
机制
推荐题的作答成本低、规则公开、与金钱和声誉挂钩后,局部最优是直接操作分,而不是操作体验。前线人员掌握发卷时机、对象和口头提示,这些环节不在产品代码里,却决定样本和题干被如何理解。排除规则(“非真实用户”“恶意差评”)若由被考核者执行,贬损者会系统性消失。产品侧也可能出现只抬推荐意愿、不抬使用质量的改动:更显眼的“分享给朋友”、把推荐入口做成任务完成的必经。指标越被盯紧,测量与构念之间的缝越大。
怎么研究
把分数轨迹与测量过程日志并排:发卷规则变更、排除比例、礼品活动、话术脚本上线日期。若分数跳变与过程变更对齐、与行为指标(完成、复购、投诉)不对齐,优先解释为污染。审计排除名单和坐席话术,计算被剔除的低分若加回会移动多少。实验上可比较“被考核团队”与“分数不挂钩团队”在发卷覆盖和话术上的差异。构念效度的证据是分数与独立行为(真实推荐、复用)的相关是否随考核强度下降。
边界
没有考核挂钩、发卷规则长期冻结、排除由独立方执行时,污染压力较小,仍应定期抽查话术。监管或采购方指定要看 NPS,组织无法取消该指标,但可以把它从内部奖金中解开,以降低污染激励。投诉量、流失率等若同样被当成唯一目标,会换一种污染,问题不特属于推荐值。这里说的是把该分数当目标之后的行为反应,不是发卷时刻的选择偏差本身。
怎么落地
- 禁止把 NPS 写入个人或一线团队的奖金公式;若必须考核,考核发卷覆盖率和过程合规,而不是分数高低。
- 发卷规则、排除规则和话术脚本的变更要像实验一样登记;变更窗口内的分数不得写入趋势。
- 每月抽回被排除的答卷并重算;重算后名次翻转,则当月分数标为不可用。
- 分数与投诉、流失、任务完成持续分叉时,冻结该指标的决策权,先查测量过程再谈产品。