没有对照组就无法区分处理效应与时间趋势
别名: 无对照前后测 · 时间趋势混淆 · 同期对照
概念解释
只看处理前和处理后的同一批(或同一产品)结果,涨跌可以来自处理,也可以来自本来就会发生的时间趋势(time trend):季节、营销节奏、工作日、成熟、媒体事件。对照组(control group)是同期未经该处理、其余条件尽量可比的一臂,用来估计“这段时间本来会怎样”。没有这一臂,处理效应与时间叠在同一个差值里,拆不开。这不是“分数是态度快照所以不能因果”的问题,而是实验结构缺了同期对照。
机制
前后差等于处理加历史加成熟加测量漂移。假期、广告投放、竞品故障、客户端自动更新,都会在没有改界面时移动转化、时长和评分。人眼把最近一次上线认领为原因,是因为时间上挨得近,不是因为其他路径被堵住了。同期对照把这些共享冲击从差值里减掉:两臂若被同一季节抬起,组间差仍可指向处理。对照必须真的同期、且未渗入处理;用“上个月”或“去年今日”顶替,是把另一个时间切片当成对照,季节和日历事件并没有被抵消。
怎么研究
计划里先写清:对照臂是谁、何时开始、处理如何被挡住。检验历史对照是否足够,可在上线前的若干窗口假装处理发生,看假处理是否也会“显著”——会,则时间趋势已经能制造同样的故事。中断时间序列要预注册中断点和趋势模型,并报告对照序列;只有一条自身曲线仍弱。交错推出让尚未轮到的单位充当滚动对照,仍需检查轮次是否与地区或渠道纠缠。主要估计针对同期对比,前后差只作描述。
边界
处理覆盖全体、无法留对照时(强制合规、全量安全补丁),因果主张要降级,改用多种前趋势诊断和外部序列,并写明识别弱。对照臂若很快被污染(对照用户看见处理、共享库存被处理吸走),名义对照失效。效应本身就是改变时间结构(把高峰削平)时,对照仍有用,但要比较的是曲线形状而不是单一窗口均值。极短窗口里时间趋势可能很小,仍应说明为什么可以忽略,而不是默认忽略。
怎么落地
- 上线比较默认做成同期两臂;写不出对照臂的方案,结论只允许写成“处理后观察”,不允许写成“处理导致”。
- 禁止用“和上周比”代替对照;若只能和历史比,先做若干假上线检验并公开结果。
- 把已知日历(促销、发版、故障)标在时间轴上,对照臂与处理臂必须共享这些标记。
- 验证:去掉处理日期后,独立同事能否从单条曲线指出同一个原因;若能轻易指出多个同样可信的事件,不得发布因果句。