用探索数据验证假设是循环论证
别名: 双重使用数据 · 循环分析 · circular analysis
概念解释
用一份资料发现模式，再把同一模式在同一资料中的清晰程度当作独立验证，称为数据双重使用（double dipping）或循环分析。问题不是探索本身，而是隐去假设由资料产生的事实，把“这批资料启发了该解释”和“新证据支持该解释”写成同一件事。事后提出假设再表述成事前预测也常称为 HARKing。
机制
探索会从许多指标、分组、时间窗和解释中挑出最突出的一个。被选中的模式天然含有真实信号与这批样本特有的随机波动；若仍用同一波动估计支持强度，就产生选择偏差，效应被高估，常规错误率失效。这类似先挑出射得最密集的位置，再把圆心画在那里，随后用同一组弹孔证明瞄准准确。
怎么研究
对于需要验证性或预测性主张的分析，最直接的修复是用独立样本重复检验。资料昂贵时，可在分析前划分探索集与确认集，或把模型选择嵌套于交叉验证中估计泛化表现；确认集在规则冻结前不能反复查看。无法获得新资料时，应完整标记分析为探索性，报告搜索空间、候选分析与稳健性检查，而不是使用独立验证措辞。质性研究传统的目标与证据逻辑并不相同；负例比较、理论抽样或新案例是在适用时挑战和细化解释的办法，不是一律要求另建确认集的通则。
边界
同一数据并非永远只能使用一次。预先定义的描述统计、模型拟合和内部诊断可以在同一资料上完成；问题在于把选择过的模式当成未经选择的独立证据。样本划分会降低可用信息，在小样本中可能不如透明探索后另做复制。交叉验证中，利用数据选择特征、估计标准化或插补参数、学习降维表示等步骤必须在每个训练折内拟合，再应用于相应测试折。相反，预先固定且不从测试资料估计任何参数的逐样本确定性转换，不会仅因作用于全部样本就必然造成泄漏。HARKing 与 double dipping 相关但不等价：前者隐瞒假设形成时间，后者让被测试资料参与了选择或建模。