研究认知偏差在评估对话代理中的影响

视频

DOI

人类经常与对话代理进行互动。通过神经网络在生成语言模型方面的快速进步有助于智能对话代理的创建。研究人员通常通过众包判断来评估其模型的输出，但目前还没有建立进行此类研究的最佳实践。此外，尚不清楚在决策中的认知偏见是否会影响众包工作者在执行这些任务时的判断。为了进行调查，我们对77名众包工作者进行了一个被试间研究，以了解认知偏见（特别是锚定偏见）在人类被要求评估对话代理的输出时所起的作用。我们的研究结果为如何最好地评估对话代理提供了见解。我们发现，在两个实验条件下评分的一致性增加可能是由于锚定偏见。我们还确定，外部因素如时间和在类似任务中的先前经验对评分者之间的一致性有影响。