Q3.16.1Single-item error cannot be assessed by internal consistency设计研究
单项指标的测量误差无法通过内部一致性评估
别名: 单项测量 · 内部一致性 · measurement error
概念解释
多题量表可以用题目之间的共变估计内部一致性(internal consistency),从而给测量误差一个下限。单项指标只有一个观察,没有可拆的平行部分,α、折半或其他基于题间相关的系数都算不出来。因此单项的分数里有多少是稳定构念、有多少是措辞、心情和瞬时理解,从这一次填答本身看不见。不是单项一定更不准,而是不准的程度在常规信度手续里是盲区。
机制
经典测量把观察写成真分数加误差。多题时,若误差大致独立而真分数共享,题间相关会升高,一致性系数随之升高。单项没有第二题来对照,误差与真分数绑在同一个数字里。重测可以提供时间上的稳定估计,但把真实态度变化也算进“误差”;与效标的相关可以提供收敛证据,却把效标自己的误差和构念不等价混进来。没有内部一致性,不等于没有误差,只等于少了一种把误差从总分里分离的方法。把单项当“更干净”往往是把不可见的误差当成了零。
怎么研究
单项若必须使用,预先规划替代的误差证据:短间隔重测、与已验证多题量表的相关、已知组差异。报告这些系数时写明各自混杂了什么。不要对单项计算或宣称 α。研究设计上可把关键构念在子样本里用多题复测,用来校准主样本单项的衰减。模拟或衰减校正需要先有误差估计;没有估计就不要做“校正后的真相关”。
边界
极度具体、刚刚发生的事实(“刚才这项任务做完了没有”)误差结构不同于抽象态度,内部一致性本来也不是合适的工具。用滑条收集的连续单项仍然是一项观察,不会因为界面更精致就获得题间信度。把同一句话在问卷里重复两遍可以算出相关,但测的是阅读稳定性,不是构念的多指示信度,且会激怒认真填答者。
怎么落地
- 在指标表里把单项标为“无内部一致性估计”,并列出将用的替代证据。
- 禁止把“只有一题所以更单纯”写进方法合理性;改写需要何种误差证据才能支撑该主张。
- 对将用于门槛或考核的单项,至少做一次短间隔重测或与多题校标的对照,达不到预注册标准则降级为探索。
- 验证:若拿不出重测、校标或已知组证据,该单项不得进入正式结论的主指标。