在实际的人工智能协作任务中比较热情和克制的人工智能建议

视频

DOI

在设计AI辅助决策系统时，AI建议中的精确度和召回率之间通常存在权衡。我们认为，仔细利用这种权衡可以利用人机协作中的互补优势，显著提高团队表现。我们研究了一个真实世界中的视频匿名化任务，其中召回率至关重要且改进成本更高。我们分析了78名专业注释者在超过3,466个人小时的注释工作中，在a)没有AI辅助，b)高精度的“克制”AI，和c)高召回率的“热切”AI情况下的表现。相比之下，“热切”的AI帮助人类队友显著缩短任务完成时间并提高召回率。在后续研究中，我们为所有人移除了AI辅助，并发现使用“克制”AI训练的注释者出现了负面训练效果。这些发现和我们的分析对设计召回率要求高的场景中的AI辅助具有重要意义。