Q3.12.4Incomparable conversion from inconsistent funnel steps设计研究
漏斗步骤定义不一致会让不同版本的转化率不可比
别名: 漏斗步骤定义 · 转化率可比性 · step operationalization
概念解释
漏斗每一步都是一条操作定义：何种事件算“到达”，何种事件算“完成并进入下一步”。若改版后把“提交订单”从点击提交按钮改成支付成功，或把可选步骤从漏斗中拿掉，转化率的分子分母已经不是同一件事。数字可以继续叫“结账转化”，却不能拿来比较两个版本谁更好。步骤定义不一致造成的不可比，不是统计波动，而是测量对象被偷偷替换。
机制
转化率是两个计数的比。改分子（更严的完成标准）会让转化下降，即使用户行为未变；改分母（谁被算作进入该步）会让转化上升或下降，即使后续体验未变。插入或删除步骤会把原来一步里的流失重新分配，使某步看起来恶化、另一步看起来改善。前后端各记一次“完成”、或把预览和提交合成一步，都会改变比率的含义。版本对比若不同时冻结步骤契约，观察到的差值混杂了产品变化与尺子变化。
怎么研究
为每一步写事件、成功条件和排除规则，并纳入版本控制。跨版本比较前先做定义对照表：事件是否仍表示同一用户动作、成功是意图还是结果、可选步骤是否仍计入。若定义已变，要么用旧定义在新数据上重放，要么把比较断开并声明新基线，不要做数字拼接。对可疑跃变，先检查发布说明和事件契约，再解释为体验变化。报告转化时附上步骤契约的哈希或文档版本，使后人能判断两次测量是否同构。
边界
即便事件名称未改，触发时机变化（页面曝光改为按钮可见、客户端提交改为服务端确认）也会破坏可比性。A/B 试验中两组必须共用同一套步骤定义；若新方案少一步，应同时报告“按旧步骤对齐”和“按新流程原生步骤”两套结果，并预先指定哪一套用于决策。极端稀疏的步骤（极少人走到）比率不稳定，定义再一致也不宜做版本裁判。
怎么落地
- 为漏斗建立步骤契约：每步的进入事件、完成事件、时间窗和排除条件，改契约必须记为破坏性变更。
- 版本对比前填写定义对照表；有任何一步不对齐，就停止直接报转化升降。
- 改流程时保留旧定义的影子指标至少一个发布周期，用来分离尺子变化与行为变化。
- 评审材料同时展示契约版本与转化数字；只有契约相同的点才允许连成趋势。