Q1.09.3Exploratory-to-confirmatory reporting bias设计研究
团队常把探索性发现直接当验证结论汇报,掩盖未经检验的假设
别名: 事后确认 · 探索结果包装 · HARKing
概念解释
探索结果的验证化汇报(exploratory-to-confirmatory reporting bias)是把资料中出现的模式、主题或解释改写成仿佛研究开始前就提出并得到检验的结论。常见表述从“我们观察到一种可能机制”滑向“研究证明用户因为该机制而行动”。被掩盖的是假设形成时间、搜索过的替代解释和仍缺少的独立证据,而不只是报告措辞不够谨慎。
机制
团队需要清晰故事支持决策,探索过程却充满分叉、反例与不确定。汇报时保留最连贯路径会产生事后确定感;管理层又常把“假设”理解为工作未完成,进一步奖励确定语气。选择过程一旦被删除,读者无法知道当前证据既参与提出解释又参与评价解释,因而高估确认强度并低估复制风险。
怎么研究
维护假设台账,记录每个主张首次出现的日期、触发资料、竞争解释、现有证据和所需下一步。研究报告把预设问题、探索中形成的发现和独立检验分栏;附上被检查但未支持的主要模式,减少选择性叙述。对关键主张,应在冻结假设、测量和分析规则后,用未参与假设或模型选择的新资料检验;若无法取得新资料,则使用能恰当控制选择过程的推断方法。换一位分析者重做同一批探索资料只能复核编码或分析过程,不能使证据独立。审计版本历史可检查结论是否在看结果后被重写成预测。
边界
探索性发现可以直接影响可逆设计决策,不必等待正式确认;问题是决策者是否看见不确定性与失败代价。情境化质性解释也不应被贬为“没有价值的假设”,只要主张不超出材料。HARKing 特指事后假设被写成事前,不涵盖所有透明报告的探索;透明并不能自动消除偏差,但让读者可以校准证据。
怎么落地
- 每张结论卡标注“预设检验、探索发现、独立复核”之一,并链接形成时间。
- 用“证据支持什么、尚不能支持什么、什么结果会推翻”替代单一结论句。
- 决策会议同时展示至少一个竞争解释和下一次区分它们的方法。
- 抽查研究计划与最终汇报差异;若新增主张没有形成记录,就降级为探索并补上验证计划。