DeltaDorsal：利用自视角中的背部特征增强手部姿态估计

文献标题

DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views

出版信息

• 研究领域: 基于背侧皮肤变形的第一视角手势姿态估计。
• 关键词: 第一视角手势追踪、背侧特征、自遮挡、3D手势姿态估计、密集视觉特征化、XR交互、皮肤变形、手势识别、等距点击检测、计算机视觉。

背景与问题

• 问题与挑战: 第一视角手势姿态估计面临频繁的自遮挡问题，手指部分或完全被遮挡，限制了依赖手部轮廓或几何表示的现有最先进（SOTA）模型的性能。
• 重要性: 准确的手势姿态估计对于实现直观的基于手势的XR系统控制及其他交互技术至关重要。解决自遮挡问题可以解锁更强大且无缝的交互体验。
• 动机与相关工作: 现有研究主要集中于几何特征、多视角设置或可穿戴传感器，但这些方法受限于遮挡、基础设施需求或用户活动范围受限。背侧皮肤变形在遮挡情况下仍然可见，但在第一视角手势追踪中尚未被充分利用。

解决方案

• 提出的方法: DeltaDorsal，一个端到端系统，利用背侧皮肤变形特征进行第一视角手势姿态估计，结合密集视觉特征提取器和双流增量编码器。
• 创新点:
  1. 引入基于背侧特征的方法以缓解第一视角手势追踪中的自遮挡问题。
  2. 开发双流架构，对比手势放松参考姿态与动态手势的背侧特征。
  3. 收集高分辨率数据集，包括12名参与者的17种手势，共172,222帧背侧手部特征。
  4. 展示基于背侧皮肤变形的新交互模式，例如等距点击检测。
• 流程与关键技术:
  1. 使用手部中性姿态的参考图像进行对齐，并与手势图像进行比较。
  2. 使用预训练的DINOv3视觉Transformer进行密集特征提取。
  3. 计算特征增量和余弦相似度以分离背侧变形。
  4. 使用回归头和MANO模型预测3D手势姿态参数。

结果

• 具体发现:
  • DeltaDorsal的平均每关节角度误差（MPJAE）为6.41°，优于HaMeR（6.74°）和HandOccNet（11.27°）。
  • 性能受自遮挡影响较小（m = −4.59°），相比HaMeR（m = −8.42°）和HandOccNet（m = −9.11°）。
  • 皮肤色调对性能影响微乎其微（η² = 0.0055）。
  • 实现了手势如轻触（RMSE：食指26.23°）和捏合（RMSE：食指16.81 mm）的准确检测。
  • 展示了等距点击检测的准确率：空中手势为0.85，表面手势为0.84。
• 相较基线的优势:
  • 在遮挡场景中优于HaMeR和HandOccNet，尤其是拇指和食指运动。
  • 以更小的模型规模（300M参数对比HaMeR的632M）实现了相当或更好的性能。
  • 在不同皮肤色调和遮挡水平下表现出鲁棒性。
• 实验与评估:
  • 在高分辨率数据集上进行留一主体交叉验证（LOSO）。
  • 使用MPJAE和PA-MPJPE等指标与HaMeR和HandOccNet进行比较。
  • 关于图像大小和模型骨干的消融研究以评估性能权衡。
  • 关于轻触、捏合和等距点击检测的应用研究。
• 局限性与未来工作:
  • 由于数据集受限和实验条件受控，泛化到真实场景的能力有限。
  • 对高分辨率相机输入的依赖以实现最佳性能。
  • 未来工作包括扩展数据集以覆盖多样化人群、整合时间特征以及优化轻量化硬件。

总结

DeltaDorsal通过利用背侧皮肤变形特征提出了一种新颖的第一视角手势姿态估计方法，解决了自遮挡问题。该系统在MPJAE为6.41°的情况下优于SOTA基线模型如HaMeR和HandOccNet，并在遮挡水平和皮肤色调方面表现出鲁棒性。它支持新的交互模式，如等距点击检测，并显示出在轻量化设备上的部署潜力。尽管需要进一步工作以泛化到真实场景，DeltaDorsal代表了XR系统中更鲁棒和灵活的手势追踪的重要进展。