Q3.16.3Short scales require target-population validation设计研究
短量表的信效度需在目标人群上单独验证
别名: 量表迁移 · 本地验证 · validity transport
概念解释
短量表常从更长工具压缩而来,原论文里的信度、因子结构和效标相关属于当时那批人、那种任务和那种语言。换到新的产品领域、年龄、渠道或语言后,这些数字不能随题目一起搬家。短表必须在目标人群上重新估计信度和效度;“原作者报告过可接受的 α”不是当前样本的证据。迁移的是题目文本,不是心理测量属性。
机制
压缩过程通常在某个常模样本上挑负荷最高或与总分最相关的题,这些题对该样本最优,对其余样本不必最优。构念在新人群里的侧面权重会变:专业用户更在意错误恢复,新用户更在意第一次成功,短表若只留下前者,对新用户的效度会塌。翻译、设备、填答时机(任务中弹窗对任务后邮件)都会改变题目含义。原报告的系数已经被压缩过程上修,再拿到新样本上当下限,会系统性乐观。
怎么研究
在目标人群里做一次本地验证:内部结构、重测或替代信度、与预定效标(任务成功、完成时间、行为留存)的相关,以及已知组差异。样本要覆盖将要被推断的人,而不是方便的同事。若用于跨产品比较,还要检验测量不变性。把原论文系数放在附录作对照,主文只报本地系数。验证失败时,要么回到更长工具,要么缩小主张到“探索性信号”。
边界
高度同质、与原常模几乎重合的人群上,本地验证可能只是确认而非推翻,但仍应做,因为压缩本身就会改变属性。单次本地验证也不能覆盖该产品未来的所有版本和所有国家。效标若与量表题目共享同一填答偏差,高相关是方法共同性,不是效度。样本量过小的“验证”会把噪声当成结构,需要预先规定可接受的精度。
怎么落地
- 引入任何短表时附本地验证计划,未完成前只作试点,不进考核或对外基准。
- 方法章节禁止只引用原论文的 α 或相关;必须出现当前样本的系数。
- 换人群、换语言或换任务类型后,把验证标为过期并重做。
- 验证:当前样本的结构与效标若达不到预注册门槛,短表从主指标名单中移除。