PoseTron：通过多人运动预测实现近距离人机协作

随着机器人进入人类工作空间，机器人迫切需要理解和预测人类运动，以实现安全流畅的人机协作（HRC）。然而，由于缺乏捕捉近距离HRC的大规模数据集，以及缺乏能够可靠预测人机团队中多人运动的通用高效算法，实现准确的运动预测仍然是一项重大挑战。为了解决这些挑战，我们引入了INTERACT，这是一个全面的多模态数据集，包含3D骨架数据、两个视角的RGB+D数据、自我视角、眼动追踪和两个参与者的凝视数据，以及机器人关节数据，涵盖了团队中的人人协作和人机协作。接下来，为了弥补准确预测多人运动的算法空白，我们提出了PoseTron，这是一种基于新型 transformer 的编码器-解码器架构，可以推广到多个智能体并利用各种数据模态。PoseTron的关键贡献之一是编码器中的新型条件注意力机制，能够高效提取和权衡来自所有智能体的运动信息，以整合团队动态。此外，解码器引入了一种新的多模态注意力机制，它权衡来自不同模态和编码器输出的表示，以准确预测未来运动。我们通过将PoseTron在INTERACT数据集上的人人协作和人机协作场景中的性能与最先进的多智能体运动预测方法进行比较，对PoseTron进行了广泛评估。结果表明，PoseTron在所有场景和评估的时间范围内都优于所有其他方法。此外 comprehensive ablation study 强调了架构和多模态设计选择。PoseTron的卓越性能为将运动预测与机器人感知集成并实现安全有效的HRC提供了有前景的方向。