理解分布外示例和交互式解释对人类-AI决策的影响

视频

DOI

尽管AI有潜力改善关键社会领域的人类决策，但人类-AI团队如何可靠地超越单独使用AI或单独使用人类在具有挑战性的预测任务中（也称为互补性能）仍是悬而未决的问题。我们探索两个方向来理解实现互补性能的差距。首先，我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释AI在分布外而非分布内由于分布偏移导致的较低性能，我们设计了不同分布类型的实验，研究人类在分布内和分布外示例中的表现。其次，我们开发了支持交互式解释的新界面，使人类能够主动参与AI辅助。通过三个任务的虚拟试点研究和大规模随机实验，我们展示了分布内和分布之间的明显差异，并观察到交互式解释的混合结果：虽然交互式解释改善了人类对AI辅助有用性的看法，但它们可能会强化人类偏见并导致有限的性能提升。总的来说，我们的工作指出了通过AI辅助增强人类性能的关键挑战和未来方向。