需要定期检验代理关系是否成立
别名: 代理关系审计 · proxy validation · 效标校准
概念解释
代理与目标的关系不是一次标定就永久有效。产品改版、人群更换、激励变化都会改写共变,因此需要定期检验代理关系(proxy relationship audit):用更靠近目标的观察,检查现行代理是否仍在指示同一件事。上线时“完成点击”和“真正办成”还对得上,后来完成点击被做成默认选中,关系就断了。定期不是因为喜欢复测,而是因为关系会在无人注意时过期。
机制
代理关系是某个时期、某个人群、某一套界面下的经验规律。界面一改,指示物的含义就变:原来的“分享”意味着认为内容值得发出去,后来分享被绑上抽奖,指示物变成了参与抽奖。人群一变,同一行为的含义也变:新用户的长停留可能是迷路,老用户的长停留可能是工作。激励一变,捷径出现,旧相关被新策略替代。不设检验周期,等于假设这些条件冻结。检验必须使用不进入日常奖励的效标,否则效标会与代理一起被优化,检验失去对照。过期的代理继续驱动迭代,会使团队在错误的指示上越走越远,还以为自己在校准。
怎么研究
预先规定检验周期和效标来源(小样本任务测试、日记、未奖励的后续行为),在同一用户集合上估计代理与效标的相关、校准曲线和误分类。把结果按版本和人群分层,定位是全局过期还是局部过期。关系下降到预定义阈值以下,标记代理失效,而不是用“再观察一个季度”拖延。也可以用已知应切断关系的改动做阴性对照:若检验在阴性对照上仍报关系完好,说明效标或方法本身无效。
边界
检验本身有成本,周期可以按代理的加压程度来设:被写入规划的代理密,仅监视的代理疏。极稳定的物理或合规计数不需要按体验代理的频率复测。小样本效标有噪声,单次下降不足以下线,要看趋势和分层。没有效标时,检验无法进行,应停止把该数字称为代理,改称未校准计数。
怎么落地
- 给每个进入决策的代理登记效标、检验周期和失效阈值,写进度量方案。
- 到期必须出一份关系是否仍成立的结论,允许的结论只有成立、局部成立、失效。
- 失效的代理退出成功宣布,可暂时留在监视层,但要改名以免继续被当成目标指示。
- 大改版、激励政策变化或主要人群切换时,立即加一次计划外检验,不等到周期。