基于共享视线多模态人机交互的未知物体多视角教学

为了让机器人在复杂环境中成功部署，机器人对其环境的理解是不可或缺的。随着先进目标检测器性能的提高，机器人检测其交互域内物体的能力也在增强。然而，这使机器人局限于少数训练类别，并阻止其适应预定义场景之外的不熟悉环境。在此类场景中，人类可以在大量交互实体中帮助机器人，并通过充当教师来传授所需的专业知识。我们提出了一个新管道，在人机协作环境中有效利用人类视线和增强现实来教机器人其周围环境中的新物体。通过将视线（引导机器人注意力到感兴趣的对象）与增强现实（传达相应的类别信息）相结合，我们使机器人能够快速自主获取大量自动标记的训练数据。我们以转移学习方式进行训练，展示了机器人检测最近学习物体的能力，并评估了不同机器学习模型和学习程序以及涉及的训练数据量的影响。我们的多模态方法证明是一种基于少量样本教机器人新物体的有效自然方式，使其能够检测没有训练数据集可用的类别。此外，我们向研究社区公开提供了我们的数据集，包括RGB和深度数据、相机内外参数以及感兴趣区域。