理解反事实解释对人类-人工智能协作临床决策中信任与依赖的影响

人工智能正越来越多地被考虑用于辅助高风险领域（如医疗）的人类决策。人工智能模型旨在为人类专家的知识带来互补的、数据驱动的见解，以改善单独由人工智能模型或人类无法单独实现的决策结果。然而，研究人员讨论了一个人类过度依赖人工智能模型不完美建议的问题。本工作中，我们利用显著特征和反事实解释让人类更仔细地审查人工智能建议，并探索这些解释在临床决策过程中对信任和人工智能依赖的影响。我们对七名治疗师和十名新手进行了实验，任务是评估中风幸存者的运动质量，分析了他们在没有和有人工智能解释的情况下的表现、任务一致性以及依赖程度。我们的结果表明，当呈现“正确”的人工智能输出时，使用显著特征和反事实解释的人工智能+人类团队有助于提高任务表现和一致性。否则，治疗师和新手都会过度依赖“错误”的人工智能输出。具体来说，新手的性能下降比治疗师更严重，显著特征组F1分数下降18.0，反事实组F1分数下降14.0，而治疗师分别为8.6和2.8。当呈现“错误”人工智能输出时，反事实解释帮助治疗师和新手将过度依赖“错误”人工智能输出的程度降低21%，相比显著特征解释。我们的工作讨论了反事实解释在更好估计人工智能模型准确性和减少对“错误”人工智能输出过度依赖方面的潜力，以及改善人类-人工智能协作决策的意义。