WristPP：用于手部姿态和压力估计的腕戴系统

文献标题

WristPP: A Wrist-Worn System for Hand Pose and Pressure Estimation

出版信息

• 主题领域: 用于人机交互中手势姿态与压力估计的腕戴系统。
• 关键词: 腕戴传感, 手势姿态估计, 压力估计, Vision Transformer, 扩展现实, 触控板交互, 空中手势, 人机交互, 可穿戴设备, 鱼眼相机。

背景与问题

• 问题/挑战: 在移动场景中同时估计三维手势姿态与压力具有挑战性，原因包括手部关节的复杂性、遮挡问题以及缺乏便携、低成本的解决方案。
• 重要性: 准确的手势姿态与压力感知对于沉浸式和高效的人机交互至关重要，可支持扩展现实、虚拟触控板以及压力敏感输入等应用。
• 动机与相关工作: 现有系统如环境安装的摄像头、头戴显示器和基于手套的可穿戴设备在移动性、遮挡处理、舒适性和成本方面存在局限性。腕戴系统具有潜力，但缺乏压力估计功能。

解决方案

• 提出的方法: WristP2 是一种基于腕戴的系统，配备鱼眼 RGB 摄像头，通过 Vision Transformer 架构实时重建三维手势姿态和每个顶点的压力。
• 创新点:
  1. 提出了一种无需视觉辅助、低成本的腕戴设备，用于联合姿态和压力估计。
  2. 开发了一个大规模数据集，包含对齐的手部网格和表面压力注释。
  3. 设计了一种考虑外参的 Hand–VQ–VAE 架构，用于联合姿态和压力预测。
  4. 在用户研究和实际应用中展示了触控板级别的效率和稳健的压力控制。
• 方法与关键技术:
  • 使用安装在手腕上的鱼眼 RGB 摄像头进行近距离感知。
  • 基于 Vision Transformer 的骨干网络，结合关节对齐的 token 进行姿态和压力估计。
  • 通过 Hand–VQ–VAE 对手部网格进行 token 化，实现离散潜在空间表示。
  • 利用多任务学习和交叉注意机制进行姿态重建和压力回归。

结果

• 具体发现:
  • 姿态估计达到 MPJPE 为 2.9 mm，MJAE 为 3.2°。
  • 压力估计指标包括接触 IoU 为 0.712，体积 IoU 为 0.618，前景压力 MAE 为 10.4 g。
  • 腕部摄像头外参估计的旋转误差为 2.3°，平移误差为 8.9 mm。
• 相较基线的优势:
  • WristP2 在姿态和压力准确性上优于头戴和环境安装的基线系统，姿态误差降低 5–15 倍，接触预测 F1 分数达到 95.2%。
  • 在大屏幕“打地鼠”任务中，与头戴方法相比，WristP2 将反应时间减少了 35–40%，错误率减少了三分之一。
• 实验/评估:
  • 在不同光照条件和表面下的离线评估显示出系统的鲁棒性。
  • 用户研究展示了触控板级别的指向效率、多指压力控制以及虚拟触控板功能。
  • 在大屏幕任务中的应用研究突出了相较头戴系统的人体工学和性能优势。
• 局限性与未来工作:
  • 在手物交互、视觉遮挡和双手遮挡方面存在挑战。
  • 需要更纤薄的硬件形态和实时设备端部署。
  • 计划扩展数据集以支持以物体为中心的交互，并探索多模态感知。

总结

WristP2 是一种腕戴系统，结合鱼眼 RGB 摄像头和基于 Vision Transformer 的架构，实现了姿态和压力估计。其在姿态重建（MPJPE: 2.9 mm）和压力估计（接触 IoU: 0.712）方面表现出高精度，优于头戴和环境安装的基线系统。用户研究验证了其在空中手势、多指压力控制和虚拟触控板任务中的有效性，而在实际大屏幕应用中展示了人体工学和性能优势。未来工作将致力于解决手物交互、遮挡问题，并优化硬件以实现更广泛的应用。