HiSync：通过可穿戴IMU与机器人摄像头的时空对齐实现长距离人机交互中的命令源识别

文献标题

HiSync: Spatio-Temporally Aligning Hand Motion from Wearable IMU and On-Robot Camera for Command Source Identification in Long-Range HRI

出版信息

• 研究领域: 远距离人机交互（HRI），重点关注指令源识别（CSI）。
• 关键词: 人机交互、指令源识别、光学-惯性融合、可穿戴IMU、机器人摄像头、远距离交互、手势识别、多用户场景、公共空间机器人、频谱运动分析。

背景与问题

• 问题与挑战: 远距离HRI场景中存在视觉模糊、不自然的交互方式以及传感器噪声等问题，这使得在多用户环境中进行CSI变得困难。
• 重要性: 可靠的CSI对于在公共空间中实现直观且稳健的交互至关重要，例如远距离召唤服务机器人或指挥无人机。
• 动机与相关研究: 现有研究主要集中在近距离HRI，或需要不自然的手势、昂贵的硬件或预部署的基础设施。现有的视觉-惯性融合方法在远距离情况下由于同步问题和噪声而性能下降。本文旨在通过提出一种稳健的CSI系统来填补这些空白，以适应远距离、多用户的HRI场景。

解决方案

• 提出的方法: HiSync，一种光学-惯性融合框架，通过对机器人摄像头的光流与手部佩戴IMU信号进行对齐，以识别远距离HRI中的指令源。
• 创新点:
  1. 引入频谱域光学-惯性融合框架用于CSI。
  2. 开发CSINet，包含质量感知特征调制、IMU锚定跨模态注意力和尺度感知多窗口融合模块。
  3. 创建首个大规模多模态远距离CSI数据集。
  4. 在动态环境中的真实机器人部署中验证HiSync的有效性。
• 流程与关键技术:
  1. 从机器人摄像头和可穿戴IMU中提取频谱运动特征。
  2. 使用CSINet对跨模态特征进行对齐与匹配，利用质量感知调制、多窗口融合和注意力机制。
  3. 在精心设计的数据集和真实场景中评估系统，包括包含模仿者和旁观者的对抗性设置。

结果

• 具体发现: HiSync在3–34米范围内实现了97.82%的准确率，比现有最优方法（SOTA）高出27.3%。在34米处，HiSync保持94.31%的准确率，而基线方法仅为43.88%。
• 相较基线的优势: HiSync在远距离情况下显著优于仅视觉和光学-惯性基线方法，其准确率比VIPL高出最多26.30%，并在时间噪声下表现出稳健性。
• 实验与评估: 在多模态数据集（9465个序列，452,055帧）和真实机器人部署中进行评估。评估指标包括CSI准确率、响应时间和主观可用性评分。消融研究证实了频谱特征和多窗口融合的重要性。
• 局限性与未来工作: 测试环境中人群密度较低导致生态有效性有限；对机器人自运动敏感；未测试多IMU场景。未来工作包括扩展至动态机器人运动、自然微手势以及高密度场所。

总结

HiSync提出了一种新颖的光学-惯性融合框架，用于远距离人机交互中的稳健指令源识别。通过在频谱域中对可穿戴IMU信号与机器人摄像头光流进行对齐，HiSync在34米处实现了高达94.31%的准确率，显著优于现有方法。该系统在大规模多模态数据集和真实机器人部署中得到验证，展示了其在动态环境中的可用性和可扩展性。未来工作将解决人群密度和机器人运动等限制，扩展其在公共空间和多用户场景中的应用潜力。