HOOV：使用惯性感应进行本体感觉交互的手部离开视野跟踪

文献标题

HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing

文献信息

• 主题领域: 虚拟现实 (VR) 和增强现实 (AR) 用户交互技术
• 关键词: 虚拟现实, 手部追踪, 惯性传感, 惯性追踪, 本体感受互动, 无视交互, 传感器融合

研究背景与问题

• 发现的问题或挑战: 当前的虚拟现实设备主要依赖视觉控制来追踪手部或控制器的运动，限制了用户在屏幕外、超出视觉范围的区域内的交互。现有解决方案常需额外的摄像头硬件，但这些可能增加计算负担、功耗及头盔的重量。
• 重要性: 人类超越210度视角范围的空间感知能力使我们能够凭借本体感受（proprioception）在视觉控制之外操作物体，这为潜在的更自然互动提供了可能性。扩展交互范围有助于提高用户的操作效率，同时减轻头部频繁旋转的物理压力。
• 研究动机与相关工作: 本文探讨如何基于简易硬件（单一惯性传感器）扩展手部追踪范围，借助数据驱动方法在追踪范围外进行准确的手部位置和手势检测问题。相关方法包括基于IMU的身体或肢体追踪，以及人类空间记忆、肢体感知能力的研究。

解决方案

• 提出的方法或解决方案:

  • HOOV方法：一种基于手腕佩戴式设备的惯性追踪技术，利用6轴IMU（包含三轴加速度计和三轴陀螺仪），结合头显的视觉追踪数据预测手部位置和姿势（6D）。
  • 数据驱动架构：使用深度学习方法，包括Transformer和RNN模块，处理时间序列数据以估计位置与方向。
  • 手势检测：通过加速度信号变化检测抓握（pinch）动作，并结合触觉反馈增强交互体验。

• 创新点:

  1. 提供了一种完全基于惯性传感器的低功耗解决方案来扩展AR/VR设备的交互范围。
  2. 提出了时间序列学习架构用于短时动作预测，减少惯性漂移误差。
  3. 集成触觉反馈装置，为用户提供即时反馈。

• 实施步骤与关键技术:

  1. 数据采集：通过手腕设备和头显收集IMU信号与头部位置方向数据。
  2. 数据预测：使用扩展卡尔曼滤波器初步估计方向，由深度学习模型处理时间序列数据完成3D位置预测。
  3. 输入事件识别：检测加速度信号变化以识别抓握手势，并通过振动马达提供反馈。

研究成果

• 具体成果:

  • HOOV实现了在视野外对手部3D位置的持续估测，平均绝对误差（MAE）为7.77厘米（对照高精度光学运动追踪系统）。
  • 实时交互中，正确检测抓取和释放动作的成功率超过86%。

• 优势:

  • 相较于现有基于IMU的手腕追踪方法，HOOV的短时间动作预测误差显著降低（约7厘米），性能优于许多真实时间或离线方法。
  • 用户无需转动头部即可与场景中17个目标进行交互，提高了交互速度（完成时间降低约15-19%）。
  • 用户体验上，参与者更倾向于选择基于HOOV的非视觉交互条件。

• 实验或评估结果:

  • 本文通过两项用户研究（总计22名参与者）验证了HOOV的准确性和效用：
    1. 离线评估：基于OptiTrack光学系统，HOOV作为模拟外部视野追踪工具，平均成功率约为85%。
    2. 实时交互评估：HOOV的预测结果完全驱动用户任务执行，成功率保持在86%左右。
  • 手势检测的精度：召回率94.85%，准确率98.05%。

• 局限性与未来方向:

  1. 训练数据局限：需要更大规模数据集以改善个性化适配能力，特别是针对不同用户体型的调整。
  2. 惯性漂移问题：手部位置误差会随着交互时间增加，未来可结合其他定位技术（例如光学追踪）进一步减少漂移影响。
  3. 设备依赖性：当前需要用户佩戴专用手腕设备，未来可探索将HOOV整合于现有智能手表或设备中。
  4. 移动场景扩展：当前研究仅限于静止场景，未来可探讨非静态环境中的鲁棒性及应用。
  5. 计算复杂性：模型功耗与实时运行效率仍需优化，以支持更多低性能平台部署。

结论

HOOV为当前AR/VR互动技术开辟了新的可能性，通过扩展追踪范围显著提升了用户的便捷性与速度。其基于惯性传感器的低成本解决方案具有广阔的应用潜力，如游戏、运动训练乃至医疗康复。未来工作可继续优化追踪精度、扩展场景类型，并与生态硬件系统深度融合，实现更自然的无视交互体验。