Q3.16.3Short scales require target-population validation设计研究

短量表的信效度需在目标人群上单独验证

别名: 量表迁移 · 本地验证 · validity transport

概念解释

短量表常从更长工具压缩而来,原论文里的信度、因子结构和效标相关属于当时那批人、那种任务和那种语言。换到新的产品领域、年龄、渠道或语言后,这些数字不能随题目一起搬家。短表必须在目标人群上重新估计信度和效度;“原作者报告过可接受的 α”不是当前样本的证据。迁移的是题目文本,不是心理测量属性。

机制

压缩过程通常在某个常模样本上挑负荷最高或与总分最相关的题,这些题对该样本最优,对其余样本不必最优。构念在新人群里的侧面权重会变:专业用户更在意错误恢复,新用户更在意第一次成功,短表若只留下前者,对新用户的效度会塌。翻译、设备、填答时机(任务中弹窗对任务后邮件)都会改变题目含义。原报告的系数已经被压缩过程上修,再拿到新样本上当下限,会系统性乐观。

怎么研究

在目标人群里做一次本地验证:内部结构、重测或替代信度、与预定效标(任务成功、完成时间、行为留存)的相关,以及已知组差异。样本要覆盖将要被推断的人,而不是方便的同事。若用于跨产品比较,还要检验测量不变性。把原论文系数放在附录作对照,主文只报本地系数。验证失败时,要么回到更长工具,要么缩小主张到“探索性信号”。

边界

高度同质、与原常模几乎重合的人群上,本地验证可能只是确认而非推翻,但仍应做,因为压缩本身就会改变属性。单次本地验证也不能覆盖该产品未来的所有版本和所有国家。效标若与量表题目共享同一填答偏差,高相关是方法共同性,不是效度。样本量过小的“验证”会把噪声当成结构,需要预先规定可接受的精度。

怎么落地

  • 引入任何短表时附本地验证计划,未完成前只作试点,不进考核或对外基准。
  • 方法章节禁止只引用原论文的 α 或相关;必须出现当前样本的系数。
  • 换人群、换语言或换任务类型后,把验证标为过期并重做。
  • 验证:当前样本的结构与效标若达不到预注册门槛,短表从主指标名单中移除。

延伸

  • 同组Q3.16.1 单项指标的测量误差无法通过内部一致性评估 · Q3.16.2 短量表以牺牲细分维度换取填答成本降低 · Q3.16.4 单项打分不能定位问题出在流程的哪个环节
  • 相邻Q3.15 问卷设计与量表 · Q4.10 研究结论的可推广性
  • 站内检索short-form validation · validity transport · measurement invariance

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.16.3