你确定吗？——人-机器人交互中人类决策不确定性的多模态检测

在问答情境中，回答者不仅传达所请求的信息，还通过各种行为线索表明他们对答案的置信度。人类擅长解释这些线索并监测他人的不确定性。能够在人机交互中以类似方式检测人类不确定性可以使未来机器人系统更好地识别人类不确定且容易出错的输入。此外，自动人类不确定性检测可以通过在不确定时刻提供帮助或澄清来增强机器人对用户的响应能力。虽然存在一些基于单一模态的不确定性检测工作，但只有少数工作专注于多模态不确定性检测。更少的工作探索人类不确定性如何通过人机交互中的行为线索表现出来。在本工作中，我们分析了与实验数据中27名参与者在两个决策任务中自我报告不确定性相关的行为线索出现情况。此外，在第一个任务中，我们变化了参与者是与人类还是与机器人互动。在记录的数据上，我们提取了通过网络摄像头和麦克风可访问的特征，并训练了一个多模态分类器。对我们开发的分类器进行的实验评估表明，其准确率和F1分数显著优于第三方标注者。人类报告说，与回答人类相比，回答机器人时感觉被观察程度更低。然而，我们发现行为差异没有显著影响我们提出的不确定性分类方法的性能。