竞品指标的采集方法未公开时不可直接横向比较
别名: 竞品指标不可比 · unpublished methodology · 横向比较陷阱
概念解释
竞品发布的“完成率 87%”“NPS 62”“日活两亿”，在采集方法未公开时，不能当作和自己同一尺子上的刻度。这是不可比的竞品指标（incomparable competitor metrics）。未知的包括任务定义、排除规则、样本框、加权、调查时机和是否把机器人算进去。看不见方法，看见的只是一个经过对方选择的数字。横向表把这些数字并排，制造了方法并不存在的共尺。
机制
每一个体验数字都是定义的函数。对方有动机选择对自己好看的函数：分母去掉困难用户，问卷弹在成功之后，活跃定义包含静默在线。公开数字还经过公关过滤，通常没有失败分支和置信区间。自己的数字若按研究口径计算，两边的差同时包含产品差和方法差，且方法差无法估计。并排展示会把方法差读成产品差，进而把资源推向“追那个数字”，而不是推向自己用户的真实失败。不可比不是“别人在撒谎”的指控，而是缺少共同实验协议时，减法没有定义。
怎么研究
对能找到方法附录的少数公开报告，列出定义差异清单，估计同一原始行为在不同定义下会差多少，作为“方法差下限”。对无方法的数字，研究产出应停止在“对方声称”，并记录缺失的方法项。实验室或日记里用同一任务脚本跑自己和竞品，得到一条方法可控的比较，明确它不等于对方公开数字。也可以做敏感性：用自己的数据按几种常见竞品口径重算，看名次能被口径单独改到什么程度。
边界
监管披露、标准化测试和共享行业研究若真正共享协议，可以横向比，仍要核对版本。功能有无、步骤是否存在这类结构性观察，不依赖对方的指标，可以直接比。购买第三方面板数据并不自动可比，面板自己的样本框和任务脚本仍可能与自己的用户不同。不可比也不禁止参考对方的界面结构，只禁止把对方的数字当自己的目标值。
怎么落地
- 竞品数字旁强制标注“方法未知 / 方法已知”，未知的不得进入差距计算。
- 需要横向结论时，用同一脚本、同一成功标准自己测双方，而不是引用对方官网。
- 汇报禁止无方法并排；改成“对方声称 X，我方按本口径 Y”，中间不断言差值。
- 用自己数据按多种口径重算，向决策者展示名次对口径有多敏感。