WatchHand：在现成智能手表上实现连续手部姿态追踪

文献标题

WatchHand: Enabling Continuous Hand Pose Tracking On Off-the-Shelf Smartwatches

发表信息

• 主题领域: 使用商用智能手表实现连续的三维手部姿态追踪。
• 关键词: 手部姿态追踪、智能手表、主动声学感知、商用现成设备（COTS）、深度学习、三维手部追踪、手势识别、可穿戴计算、人机交互、隐私保护感知。

背景与问题

• 问题/挑战: 商用智能手表无法实现连续的三维手部姿态追踪，因为现有方法依赖外部传感器或定制硬件。现有解决方案通常专注于离散手势识别或需要专属配置，限制了其可扩展性和实际应用。
• 重要性: 在现成的商用智能手表上实现连续手部姿态追踪，可以为数百万现有设备解锁更具表现力和上下文感知的交互方式，从而提升用户体验和可访问性。
• 动机与相关工作: 之前的研究探索了摄像头、雷达和肌电图（EMG）等感知方式，但这些方法面临隐私问题、硬件需求或通用性有限等挑战。WatchHand基于主动声学感知的最新进展，重新利用智能手表内置传感器实现连续手部姿态追踪，无需额外硬件。

解决方案

• 提出的方法: WatchHand系统利用商用智能手表内置的扬声器和麦克风，通过主动声学感知和深度学习实现连续的三维手部姿态追踪。
• 创新点:
  1. 首个完全依赖商用智能手表内置传感器实现连续三维手部姿态追踪的系统。
  2. 开发了一套深度学习管道，可在多种条件下（如硬件、姿势、噪声）实现鲁棒的手部姿态估计。
  3. 在多种智能手表型号上进行了广泛的实证评估，在跨会话测试中实现了亚厘米级精度。
  4. 考虑了实际部署的因素，包括设备端处理和隐私保护设计。
• 流程与关键技术:
  1. 使用智能手表扬声器发射不可听的频率调制连续波（18–21 kHz），并通过麦克风捕获反射信号。
  2. 使用互相关和差分技术将声学信号处理为时空回声特征。
  3. 利用基于FastViT的深度学习模型估计20个手指关节的三维位置。
  4. 在多种条件下（如硬件、姿势、噪声）评估性能，并通过微调模型适应未见场景。

结果

• 具体发现:
  • 在跨会话测试中实现了平均每关节位置误差（MPJPE）7.87毫米，在跨用户测试中为14.88毫米。
  • 在多种条件下保持鲁棒性，包括身体姿势（通过微调将MPJPE降低至6.58毫米）和噪声场景（如大声音乐、行走）。
  • 在会话内测试中实现了亚厘米级精度（MPJPE：6.02毫米）。
• 相较基线的优势:
  • 在跨会话评估中优于之前的系统，如DiscoBand（MPJPE：17.87毫米）和EITPose（MPJPE：17.81毫米）。
  • 实现了实时设备端处理，每次预测的延迟为0.115秒。
• 实验/评估:
  • 进行了四项研究，涉及40名参与者，测试了三种智能手表型号（三星、小米、谷歌）及多种条件（如姿势、噪声、动态手部姿态变化）。
  • 使用跨会话、会话内和跨用户协议评估模型。
• 局限性与未来工作:
  • 由于用户间的差异性，跨用户场景中的性能下降。
  • 在对象交互和未见手部姿态方面存在挑战。
  • 未来工作包括扩展数据集、集成对象感知，以及探索自监督学习以提高泛化能力。

总结

WatchHand提出了一种利用商用智能手表内置扬声器和麦克风实现连续三维手部姿态追踪的新方法。通过主动声学感知和深度学习，该系统在硬件变化、姿势和噪声等多种条件下实现了亚厘米级精度。广泛的评估展示了其鲁棒性和适应性，具有手势交互、可访问性和跨设备界面等潜在应用。WatchHand代表了在数百万现有智能手表上实现可扩展、隐私保护手部追踪的重要一步，同时为进一步优化和数据集扩展提供了机会。