问题需可被观察到的证据回答
别名: 可经验回答的问题 · 可操作化研究问题 · empirical answerability
概念解释
一个问题只有在可能的观察结果能够支持、削弱或区分答案时,才是可由经验回答的研究问题(empirically answerable research question)。「新手能否在没有帮助时完成开户」可以研究,因为可以界定新手、任务成功和求助;「界面是否足够人性化」若没有把“人性化”拆成可观察构念,就仍是价值判断。证据不只指数字:具体事件的访谈叙述、现场行为、文件痕迹和经系统编码的主题都可以回答问题,前提是证据与主张之间的推理可说明。
机制
抽象构念不能被直接看见,必须经过操作化(operationalization):先界定概念,再选择能指示它的观察,最后规定什么结果会改变判断。映射总有信息损失。例如「信任」可表现为愿意授权、愿意依赖建议或主观评分,三者不等价;只观察其中一个,就只能支持相应范围的结论。若团队无法事先说出哪种结果会反驳预期,问题通常是在寻求佐证,而不是允许不利证据进入。
怎么研究
研究问题可接受三项评审。证据检验分别写出支持、反对和无法判定的观察;构念检验区分目标概念、实际测量以及两者可能脱钩的情形;竞争解释检验检查相同结果是否可能由招募偏差、任务难度、主持提示或系统性能造成。正式计划可用证据矩阵连接问题、分析单位、样本范围、观察方式与判断规则。先试采少量案例检查所需证据能否记录,而不把试采结果当作结论。
边界
可观察不等于必须量化、做因果实验或追求统计显著。解释性、描述性和生成性问题可以依靠质性材料回答,只是主张应停留在材料能支撑的层级。伦理上不可直接观察的行为、极低频高风险事件或尚未存在的未来情境,可能只能用模拟、代理指标或情景推演;此时代理与真实现象的距离必须进入限制。操作化也不自动带来推广性,单次研究不能跨越未抽样的人群、设备和时期。
怎么落地
- 把问题改写成「对什么人,在什么任务和条件下,观察什么,用来区分哪些答案」。
- 增加三栏:支持证据、反对证据、仍无法回答的证据。
- 为每个抽象词写操作定义;若存在多种合理指标,就保留多指标或缩小主张。
- 让未参与设计的同事只看预期数据结构,说明如何回答问题。若只能说“会收集一些反馈”,却不能区分可能答案,说明问题仍不可经验回答。