《当两个错误不能成为一个正确》- 在计算病理学中的人工智能协作过程中，探讨确认偏误和时间压力的作用

研究背景与问题

作者发现的问题或挑战

1. 认知偏差的放大: 在基于人工智能（AI）的决策支持系统（CDSS）中，AI可能会加剧认知偏差，例如确认偏差。当人类的初始判断是错误的，而AI又提供了类似的错误建议时，这种偏差表现为一种虚假的确认，从而加强错误判断。
2. 时间压力的复杂性: 医疗场景中普遍存在时间压力，可能进一步放大认知偏差，因为决策者在认知资源有限的情况下倾向于更加依赖系统建议。
3. 连续决策研究的空白: 医学领域的大多数研究集中于离散决策，而许多日常医疗任务实际上是连续决策（如在病理学中的肿瘤细胞百分比估计）。

为什么这个问题重要

在医疗健康等高风险领域，错误诊断会对患者福祉和治疗方案带来直接的生命影响。错误判断的强化（例如，AI与专家错误预测的对齐）可能放大诊断失误的严重性，削弱AI辅助系统的潜在益处。

研究动机与相关工作

1. 认知偏差的重要性: 认知偏差（如确认偏差）在医疗诊断中是已被广泛研究和记录的现象，但AI引入的风险和动态尚未被全面理解。
2. 时间压力的潜在角色: 尽管时间压力在日常医疗实践中普遍存在，但已有研究较少关注其如何影响AI引发的确认偏差。
3. 弥补连续决策情境中的研究空白: 目前针对AI和确认偏差的研究主要集中在离散决策，这篇研究将填补其在连续决策场景中的空白。

解决方案

作者提出的方法或解决方案

1. 进行基于网络的实验，模拟病理学家在不同条件下（有/无AI支持、有/无时间压力）估计肿瘤细胞比例的过程。
2. 使用线性混合效应模型定量分析AI建议与专家判断之间的关系，具体评估是否明显表现出确认偏差。
3. 研究时间压力如何影响确认偏差及其对于AI辅助任务的依赖程度。

该解决方案的创新之处

1. 数据驱动分析: 首次使用线性混合效应模型来量化确认偏差在连续任务中的存在及其变化。
2. 时间压力的新发现: 探索时间压力作为重要变量如何与AI和人类专家的互动产生复杂关系。
3. 领域特定任务: 通过在病理领域的重要任务（如肿瘤细胞百分比估算）中直接实验，增强了结论的实际适用性和外部有效性。

实施步骤与关键技术

1. 实验设计:
   • 两阶段任务：参与者首先独立估计肿瘤细胞百分比（TCP），然后在引入AI辅助后重新估计。
   • 设置四种条件：独立决策 vs 有AI支持；有时间压力 vs 无时间压力。
   • 使用2周洗脱期避免对图像的记忆影响。
2. 数据收集和分析:
   • 录入专家在实验场景中的评估值，分析其在AI意见下的修正路径。
   • 使用配对样本和线性混合效应模型检验两变量的关联强度。
3. 评价确认偏差:
   • 选择具有错误判断和AI不准确结果的样本。
   • 通过对一致/不一致的AI建议分类进行加权分析。

研究成果

取得了哪些具体成果

1. 确认偏差的证据:
   • 当AI算法的建议与专家的独立判断一致时（即便这些建议和判断是错误的），专家更倾向于接受AI的建议。
   • 确认偏差在专家和AI一致错误的场景中特别明显。
2. 时间压力的影响:
   • 有趣地发现，时间压力并未加剧确认偏差，反而弱化了它的表现。研究显示时间压力下，参与者更偏向无条件依赖AI建议，这可能与“自动化偏差”有关。
3. 对连续决策任务的适用性:
   • 研究首次展示了AI触发的确认偏差在涉及定量评估的连续决策任务中的存在。

与现有解决方案相比的优势

• 量化了不同条件（AI一致性、时间压力）下认知偏差的影响，为制定更安全的AI决策辅助工具提供定量洞察。
• 使用真实的病理学任务与医学专家参与，提高外部效度和研究的临床相关性。

实验或评估结果

1. 使用线性混合效应模型的分析显示：
   • 确认偏差在AI预测与专家判断一致的情况下更显著（回归系数为正）。
2. 时间压力下的“自动化偏差”效应表明：
   • 专家信任AI的建议增多（Judge Adviser System平均值在有时间压力下从0.49提升至0.55）。
3. 提供了详细的实验数据和参与者行为的统计描述：

局限性与未来方向

1. 样本限制: 28位参与者的数量较少，可能影响研究结果的普遍性。
2. 时间压力的模拟: 实验条件下的单个任务倒计时与实际临床中的高工作量压力不完全等同。
3. 未来研究方向:
   • 探索多样化医学任务中的确认偏差机制，例如病理学成像分析或药物选择。
   • 引入偏差缓解策略（如流程引导工具或认知强制功能），并评估其有效性。
   • 从更大的样本中验证研究发现，以提高结果的推广性。

总结，这项研究不仅揭示了确认偏差在AI辅助医疗决策中的具体表现，还为未来开发安全、高效的临床决策支持工具提供了宝贵的经验和实证基础。同时，对于时间压力和AI人工辅助的结合效果，文中呈现的复杂互动关系为认知偏差的深度研究指明了方向。