Q3.16.2Short scales trade dimensional resolution for lower burden设计研究
短量表以牺牲细分维度换取填答成本降低
别名: 短量表 · 填答负担 · bandwidth-fidelity
概念解释
把多题工具剪成两三项,通常能缩短时间、降低中途退出。省下的不是“水分”,而是覆盖构念不同侧面的题目。短量表得到更便宜的总分,同时失去分辨“哪一条轴在动”的能力。这是带宽与逼真度的交换:题目越少,对总印象越灵敏,对结构越盲。选择短量表是在接受这个交换,不是免费获得同样信息。
机制
长量表用不同题目覆盖效率、可学习性、错误处理、一致性等侧面。删题之后,剩下的题目成为总分的全部内容,被删侧面的变异不再进入分数,有时还会以误差的形式从仅存题目里泄漏。填答成本下降会提高完成率和样本覆盖,这是真实收益。但收益发生在样本,损失发生在构念分辨率。若决策需要知道“慢在哪里”或“难在哪类任务”,短总分给不出;若决策只需要一个监控信号,分辨率损失可以接受。把短量表的总分解释成长量表各分量表的和,是在否认这次剪裁。
怎么研究
在采用短表前,用目标任务把长表与短表并行施测,比较总分相关、各侧面的信息损失、以及完成时间和退出。报告短表与长表在相关上接近,同时报告短表无法复现的侧面差异。用项目反应或因子分析看被删题目带走了哪些负荷。决策分析写明:当前问题是否只需要一个有序信号。若需要侧面,短表即使更短也不能替代。
边界
有的构念本来就窄,短表不是牺牲而是匹配。有的填答情境(即时弹窗、可穿戴、现场中断)几乎只能承受一两题,此时应缩小主张,而不是假装分辨率还在。短表有时会因为删掉了造成负担的题目而看起来更“干净”,这可能是方法效应而非构念更纯。负担降低若带来更草率的填答,省下的时间会被新的误差吃掉。
怎么落地
- 选用短表时在计划里写一句:放弃哪些侧面、换来怎样的完成率,以及该交换为何配得上当前决策。
- 监控用短表,诊断用任务观察或有侧面的工具,不要用短总分开会讨论“具体哪儿不好”。
- 对已经习惯长表常模的团队,禁止把短表分数直接读成旧常模上的位置。
- 验证:列出一个短表分数无法回答、但业务正在问的侧面问题;若存在,短表只能当信号不能当诊断。