3DRing：通过融合惯性与低帧率光学传感实现低成本3D手部位置追踪

文献标题

3DRing: Enabling Low-Cost 3D Hand Position Tracking by Fusing Inertial and Low-Framerate Optical Sensing

出版信息

• 研究领域: 使用光学-惯性融合技术实现低成本的AR/VR 3D手部跟踪。
• 关键词: 3D手部跟踪，低帧率光学传感，惯性测量单元（IMU），光学-惯性融合，强化学习，扩展卡尔曼滤波器，AR/VR交互，计算成本降低。

背景与问题

• 问题/挑战: 现有的手部跟踪系统严重依赖高帧率（HFR）光学传感器，这种方法计算成本高且不适合轻量化的AR/VR设备。而单独使用低帧率（LFR）光学传感器在动态手部运动中面临精度和延迟问题。
• 重要性: 在保持跟踪精度的同时降低计算成本，对于实现轻量化和移动AR/VR设备上的手部跟踪功能至关重要，而目前这些设备缺乏此类功能。
• 动机与相关研究: 先前的研究分别探讨了LFR光学传感和惯性传感，但这些方法在平衡精度和延迟方面存在挑战。光学-惯性融合技术已在其他领域应用，但尚未针对动态3D交互中的LFR手部跟踪进行优化。

解决方案

• 提出的方法: 3DRing是一个3D手部位置跟踪框架，通过结合单个IMU环和LFR光学数据，实现高精度、实时跟踪，并显著降低计算成本。
• 创新点:
  1. 引入深度扩展卡尔曼滤波器（DEKF），结合基于RNN的速度预测与EKF，从稀疏光学数据和IMU输入中实现精确的运动预测。
  2. 开发基于强化学习（RL）的自适应帧率策略，根据手部运动状态动态选择关键帧进行校准，优化精度与计算成本之间的平衡。
  3. 显著降低计算成本（至传统方法的约11%），同时保持高跟踪精度和交互效率。
• 方法与关键技术:
  1. 预测阶段: 使用RNN从IMU数据中预测手部速度，并结合EKF估计手部位置和旋转。
  2. 校准阶段: 使用RL模型根据手部运动状态自适应选择关键帧进行光学校准。
  3. 通过3D目标选择任务评估系统性能，并与基线方法进行比较。

结果

• 具体发现:
  • 在6.61 FPS光学数据下，平均跟踪误差为1.75 ± 0.18 cm。
  • 交互效率达到Meta Quest Pro（67 FPS）的86.0%。
  • 计算成本降低至传统基于计算机视觉的手部跟踪方法的约11%。
• 相较基线的优势:
  • 相较于仅使用LFR光学方法，跟踪误差减少了27.1%。
  • 在精度和效率方面优于仅基于视觉和基于EKF的基线方法。
• 实验/评估:
  • 离线评估: 对20名参与者的3D目标选择任务数据集进行跨用户验证。
  • 在线评估: 实时测试20名参与者，比较3DRing、Meta Quest Pro（67 FPS）和LFR Quest Pro（6.25 FPS）。
  • 评估指标: 跟踪误差、交互效率、计算成本和主观用户反馈。
• 局限性与未来工作:
  • 与HFR系统（如Meta Quest Pro）相比存在精度差距。
  • 固定的IMU环方向以及依赖食指位置作为手部位置的代理。
  • 硬件延迟（约120 ms），由BLE传输和数据处理引起。
  • 验证范围仅限于基本的3D指向任务，未来工作应探索更复杂的交互场景。

总结

3DRing是一个融合LFR光学数据与单个IMU环惯性传感的新型低成本3D手部位置跟踪框架。通过整合用于运动预测的DEKF和基于RL的自适应帧率策略，该框架实现了高跟踪精度（误差1.75 cm）和交互效率（Meta Quest Pro的86%），同时显著降低了计算成本（约为传统方法的11%）。评估结果表明其在轻量化AR/VR应用中的潜力，但未来工作需要解决精度、延迟以及更广泛交互场景的挑战。