Q3.18.1Control group versus time trend设计研究

没有对照组就无法区分处理效应与时间趋势

别名: 无对照前后测 · 时间趋势混淆 · 同期对照

概念解释

只看处理前和处理后的同一批(或同一产品)结果,涨跌可以来自处理,也可以来自本来就会发生的时间趋势(time trend):季节、营销节奏、工作日、成熟、媒体事件。对照组(control group)是同期未经该处理、其余条件尽量可比的一臂,用来估计“这段时间本来会怎样”。没有这一臂,处理效应与时间叠在同一个差值里,拆不开。这不是“分数是态度快照所以不能因果”的问题,而是实验结构缺了同期对照。

机制

前后差等于处理加历史加成熟加测量漂移。假期、广告投放、竞品故障、客户端自动更新,都会在没有改界面时移动转化、时长和评分。人眼把最近一次上线认领为原因,是因为时间上挨得近,不是因为其他路径被堵住了。同期对照把这些共享冲击从差值里减掉:两臂若被同一季节抬起,组间差仍可指向处理。对照必须真的同期、且未渗入处理;用“上个月”或“去年今日”顶替,是把另一个时间切片当成对照,季节和日历事件并没有被抵消。

怎么研究

计划里先写清:对照臂是谁、何时开始、处理如何被挡住。检验历史对照是否足够,可在上线前的若干窗口假装处理发生,看假处理是否也会“显著”——会,则时间趋势已经能制造同样的故事。中断时间序列要预注册中断点和趋势模型,并报告对照序列;只有一条自身曲线仍弱。交错推出让尚未轮到的单位充当滚动对照,仍需检查轮次是否与地区或渠道纠缠。主要估计针对同期对比,前后差只作描述。

边界

处理覆盖全体、无法留对照时(强制合规、全量安全补丁),因果主张要降级,改用多种前趋势诊断和外部序列,并写明识别弱。对照臂若很快被污染(对照用户看见处理、共享库存被处理吸走),名义对照失效。效应本身就是改变时间结构(把高峰削平)时,对照仍有用,但要比较的是曲线形状而不是单一窗口均值。极短窗口里时间趋势可能很小,仍应说明为什么可以忽略,而不是默认忽略。

怎么落地

  • 上线比较默认做成同期两臂;写不出对照臂的方案,结论只允许写成“处理后观察”,不允许写成“处理导致”。
  • 禁止用“和上周比”代替对照;若只能和历史比,先做若干假上线检验并公开结果。
  • 把已知日历(促销、发版、故障)标在时间轴上,对照臂与处理臂必须共享这些标记。
  • 验证:去掉处理日期后,独立同事能否从单条曲线指出同一个原因;若能轻易指出多个同样可信的事件,不得发布因果句。

延伸

  • 同组Q3.18.2 随机分配单元需与效应发生单元一致,否则产生伪独立 · Q3.18.3 被试内设计需要考虑顺序效应并做对抗平衡 · Q3.18.4 实验组之间的差异只有控制其他变量后才可解释为处理效应
  • 相邻Q3.04 A/B 测试 · Q3.14 新奇效应与学习效应
  • 站内检索control group · time trend · difference in differences

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.18.1