Q1.02.2Confirmatory hypothesis testing研究
验证性研究检验假设
别名: 验证性研究 · 假设检验 · confirmatory study
概念解释
验证性假设检验(confirmatory hypothesis testing)用事先明确的假设、测量、样本与分析规则,评估新证据是否与预测相容。它可以检验因果效果、变量关系、分类差异或质性理论预期;“验证性”指证据面对的是预先限定的主张,并不保证研究一定确认假设,也不等同于只做统计显著性检验。
机制
若研究者在看见结果后选择最有利的指标、分组或模型,同一资料中的随机波动会参与选择,常规不确定性估计却没有计入这一步。事先限定分析空间,或在独立资料上重复检验,可让观察到的支持拥有可解释的错误率与反证意义。验证的核心是让不符合预测的结果也有机会保留下来,而不是让方法确保期望答案出现。
怎么研究
计划应明确假设方向、目标人群、处理或比较、主要结果、排除规则、停止规则和分析模型;定量研究还需依据最小重要效应规划精度或功效。质性验证可预先声明理论所预测的情境、过程或反例,再用目的抽样检验解释能否覆盖新案例。偏离计划并非禁止,也不自动把全部分析降为探索性:预设的适应规则仍属于原计划;在未查看结果、且修订理由不受结果影响时做出的有时间戳变更,通常比看见结果后选择指标、样本或模型更少损害验证性。所有偏离都应标注并说明,其推断后果要根据改了什么、何时改、是否受结果信息影响以及是否增加研究者选择空间来判断。
边界
预注册不能修复差的构念、失真的测量或无代表性的样本,也不能把相关关系变成因果。严格复现某一操作可以检验该操作,却未必检验理论在其他任务和人群中的范围。低功效研究得到“不显著”不能证明没有效应;验证性结论仍需效应量、不确定区间、数据质量和外部效度判断。