Q3.18.3Order effects and counterbalancing设计研究

被试内设计需要考虑顺序效应并做对抗平衡

别名: 顺序效应 · 对抗平衡 · 被试内残留

概念解释

同一个人先后经历多个方案,叫被试内(within-subjects)设计。第二次及以后的成绩里混进了练习、疲劳、对比和残留:先用过的界面会改变后用的界面被如何理解。这种由先后造成的系统偏差是顺序效应(order effect)。对抗平衡(counterbalancing)把不同顺序分配给不同的人(或用拉丁方等结构),使顺序在方案之间尽量抵消,而不是假定“大家都会适应所以没关系”。产品改版后整体指标先升后降,是另一类时间过程,不是一次实验里条件的先后。

机制

练习让后做的任务变快变准,疲劳和厌倦让后做的任务变差,对比让第二个方案被当成“相对于上一个”而不是相对于真实默认。不可逆残留更麻烦:学过了搜索框在右上,再看左上的方案时,失败已经不是对左上方案的无偏测量。随机一下先后只能在期望上平衡顺序,样本小时某个顺序仍会堆在一臂。没有记录顺序、没有在模型里估计顺序,组内差就把方案差和位置差绑在一起。对抗平衡不消灭顺序,它让顺序的主效应不再冒充方案;若存在方案与顺序的交互(只有先看 A 才觉得 B 好),抵消会掩盖这个交互,需要把交互单独报告。

怎么研究

预先规定顺序结构:完全对抗、拉丁方、或随机顺序,并说明在预期人数下每种顺序的细胞是否填得满。分析同时估计方案、位置(第几次)和必要时的方案×位置。关键任务可加洗脱或插入无关任务,并检查后一条件是否仍带着前一条件的错误模式。报告每种顺序的人数和该顺序下的方案差;若某一顺序驱动了总体结论,主结论要降级。被试内相对被试间的功效优势,以顺序可被设计吸收为前提,而不是免费的。

边界

有些处理学一次就不可逆(知道了价格、看过了剧透、掌握了快捷键),对抗平衡无法把人送回无知状态,应改被试间或只用首次暴露。顺序本身若是研究问题(引导流程、教程先后),就不要抵消它,而要系统操纵它。现场产品无法为每个用户洗脱上一版记忆时,被试内实验室结论外推要写下残留风险。极短的两个试次有时顺序效应很小,仍应记录顺序,以备检验。

怎么落地

  • 被试内协议写明顺序表;禁止所有人按同一先后(总是先旧后新)走完。
  • 结果同时报“第几次”和方案;只有方案均值、没有位置检查的稿退回。
  • 不可逆信息(答案、价格、布局记忆)默认改成被试间,或只分析第一次接触。
  • 验证:只留第一种顺序重算;若与完全平衡后的结论相反,不得把未平衡的顺序差写成方案胜出。

延伸

  • 同组Q3.18.1 没有对照组就无法区分处理效应与时间趋势 · Q3.18.2 随机分配单元需与效应发生单元一致,否则产生伪独立 · Q3.18.4 实验组之间的差异只有控制其他变量后才可解释为处理效应
  • 相邻Q3.04 A/B 测试 · Q3.14 新奇效应与学习效应
  • 站内检索order effect · counterbalancing · carryover

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.18.3