Q3.18.4Confound control for group differences设计研究

实验组之间的差异只有控制其他变量后才可解释为处理效应

别名: 混杂控制 · 组间不可比 · 实验控制

概念解释

两组结果不同,只有在处理之外的因素被控制(held constant、随机打散或成块平衡)之后,才能把差值读成处理效应。否则差值里装着设备、时段、任务难度、招募来源、主持人或默认设置——这些是混杂(confound)。有对照臂只解决了“有没有另一组”,并不自动保证两组只差在处理上。这里要的是把其他变量管住,而不是事后从许多指标里挑一个显著的再讲故事,也不是产品 A/B 里“随机分流本身许可因果”那一层的口号。

机制

组间差是许多通道的总和。自我选择进新版的人更熟练;实验室里一臂总在下午、用实验室那台旧手机;说明书只发给处理组;对照臂的任务其实更难。这些通道与处理纠缠,观察差无法点名是哪一条。实验控制的做法是:能固定的固定(同一任务脚本、同一设备池),不能固定的随机或成块(按时段、按经验分层再分配),并挡住处理臂独享的额外帮助。统计上“控制几个协变量”补的是想到的维度,补不到未测量的通道;它不能替代分配和操作上的控制。未控制的变量仍在差值里时,把组间差写成处理,是把纠缠当成了分离。

怎么研究

在操作检查清单上列出所有应保持不变的因素和所有应被随机或成块的因素,并在运行中记录实际值(设备、时段、主持人、任务版本)。分配后比较这些记录在两臂的分布;出现缺口先修操作,再谈结果。预注册主处理的对比,并预先声明哪些协变量是设计的一部分(分层变量),哪些只做稳健性。敏感性分析:把未平衡的因素逐个纳入,看处理估计是否移动;移动大,则主结论带着未控混杂。不要用“两组看起来差不多”代替记录。

边界

完全控制会把情境修得不像真实使用;生态效度与内部控制是权衡,不是越干净越好。有些变量是处理的一部分(新版必须换字体),不应当混杂抠掉,但要在主张里写清被一起改动的是整包。观察数据里靠匹配或回归“控制”之后,仍可能留下选择和未测混杂,结论层级低于实验控制。随机分配在期望上平衡未测因素,实现失败(某来源全进一臂)时,期望上的平衡作废,仍须回到操作控制。

怎么落地

  • 写实验时列出“两臂必须相同的东西”和“允许不同的只有处理”;前者做检查表,开跑前签收。
  • 运行中锁任务脚本、设备池和主持人脚本;一臂不得有另一臂没有的提示或礼品。
  • 发现某协变量在两臂裂开,停止读处理效应,先重做分配或限制分析总体。
  • 验证:让未参加设计的人只看操作记录(不看结果),指出还可能解释组间差的因素;列得出且未被平衡,结论不得写成处理效应。

延伸

  • 同组Q3.18.1 没有对照组就无法区分处理效应与时间趋势 · Q3.18.2 随机分配单元需与效应发生单元一致,否则产生伪独立 · Q3.18.3 被试内设计需要考虑顺序效应并做对抗平衡
  • 相邻Q3.04 A/B 测试 · Q3.05 多变量测试
  • 站内检索confound · experimental control · ceteris paribus

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.18.4