能否从手部运动推断物体姿态变化？

文献标题

Can We Infer Object Pose Changes from Hand Movements?

出版信息

• 主题领域：利用手部动态进行增强现实中的物体跟踪。
• 关键词：物体跟踪、手部动态、增强现实、姿态估计、手物交互、抓取检测、释放检测、计算机视觉、HOT3D数据集、混合跟踪。

背景与问题

• 问题/挑战：在增强现实中对被操作物体进行稳健跟踪具有挑战性，原因包括手部遮挡、物体外观变化以及形状变化等。现有的计算机视觉方法在操作过程中通常难以保持连续跟踪。
• 重要性：连续的物体跟踪对于无缝的增强现实体验至关重要，例如增强的操作指导、物体智能应用以及单手XR界面。如果物体姿态丢失，会中断用户交互并降低增强现实体验。
• 动机与相关工作：以往的研究主要集中于标记物、6自由度姿态估计以及基于计算机视觉的方法，这些方法在遮挡和开放环境条件下表现不佳。以手为中心的方法（如GripMarks）需要用户依赖的训练，并局限于特定的抓握方式。本文探讨是否可以仅通过手部动态推断物体姿态变化，从而填补轻量化、通用跟踪解决方案的空白。

解决方案

• 提出的方法：Object-from-Hand (ObHa)——一种以手为中心的方法，通过内置的手部跟踪API推断物体姿态变化。
• 创新点：
  1. 无需物体特定模型或训练即可跟踪物体姿态变化。
  2. 对手部遮挡、物体外观变化和形状变化具有鲁棒性。
  3. 支持通用的抓握动作，允许多种持物方式。
  4. 计算开销低，适合轻量化增强现实设备。
• 流程与关键技术：
  1. 探测1：初步探索仅利用手部形状进行抓取检测，发现误报和漏报等关键问题。
  2. 探测2：通过空间接近性和显式释放手势进行优化，抓取检测准确率达到88%，释放检测准确率达到97%。
  3. 探测3：利用HOT3D数据集的洞察优化自然释放检测的启发式方法，抓取检测准确率达到95%，释放检测准确率达到88%。

结果

• 具体发现：
  • 探测2：抓取检测准确率88%，释放检测准确率97%。
  • 探测3：基于HOT3D数据集的抓取检测准确率95%，释放检测准确率88%。
  • 时间精度：抓取检测中位误差为-0.099秒，释放检测误差为-0.297秒。
  • 空间精度：最终放置误差约为5厘米（16%的实验中），方向偏差约为15°（5%的实验中）。
• 相较基线的优势：
  • 实时性能（Meta Quest 3上达到70 fps）。
  • 无需物体特定知识或训练。
  • 相较于HOI重建和6自由度跟踪器，对手部遮挡和物体变化具有更高的鲁棒性。
• 实验/评估：
  • 探测1：初步研究，3名参与者操作9个物体。
  • 探测2：实验室研究，12名参与者测试5个物体的抓取和释放检测。
  • 探测3：基于HOT3D数据集的170个精选片段评估自然物体操作。
• 局限性与未来工作：
  • 在双手交互、多用户场景和非抓握动作中存在挑战。
  • 偶尔需要不自然的释放手势。
  • 依赖手部跟踪系统的准确性，尤其是在遮挡情况下。
  • 未来工作包括扩展至双手交互、提高手部跟踪鲁棒性，以及与计算机视觉管道集成。

总结

本文提出了Object-from-Hand (ObHa)，一种轻量化的增强现实物体跟踪方法，通过手部动态推断姿态变化。通过三次迭代探测，该方法优化了抓取和释放检测的鲁棒性，准确率分别达到95%和88%。ObHa无需物体特定模型，能够适应遮挡和物体变化，并高效运行于轻量化增强现实设备。它既可以作为独立的跟踪器用于快速原型设计，也可以在混合管道中补充计算机视觉。未来工作将着眼于解决双手交互、提高自然性以及增强跟踪鲁棒性。