EtherPose：使用腕戴式天线阻抗特性传感的连续手部姿态追踪

文献标题

EtherPose: Continuous Hand Pose Tracking with Wrist-Worn Antenna Impedance Characteristic Sensing

文献信息

• 主题领域: 人机交互系统中的手势追踪技术
• 关键词: 智能手表, 可穿戴计算, 手势追踪, 天线阻抗, 射频技术, 自然用户界面, 虚拟现实, 增强现实

研究背景与问题

• 发现的问题与挑战:

  • 当前基于摄像头的手势追踪方法易受遮挡与隐私问题的影响，且会捕捉用户敏感的图像数据。
  • 许多手势追踪系统无法在穿衣服或拥挤环境中保持良好性能。
  • 静态手势识别较常见，但能够实现连续手势追踪的系统非常稀缺。

• 重要性:

  • 手势追踪在虚拟现实、增强现实、手语识别以及上下文感知等领域有广泛应用。
  • 提供一种鲁棒、高保隐私的新型手势追踪方法能够解决现有方法的局限性。

• 研究动机与相关工作:

  • 作者调查了多种基于手腕佩戴设备的交互技术，包括光学方法、声学方法、电阻传感、以及射频 (RF) 方法。
  • 基于RF技术的手势识别方法，如雷达和电容耦合感应技术，展示了潜力，但目前的实现大多需要笨重的台式设备或外部电源连接。
  • EtherPose旨在探索一种紧凑、完全独立、实时的手势追踪方式，实现连续3D手势、腕部旋转、以及微手势追踪功能。

解决方案

• 方法与解决方案:

  • EtherPose是一种基于射频阻抗特性的手势追踪系统，通过两个佩戴在手腕上的天线来测量用户手部对电磁场的影响。
  • 系统通过射频向量网络分析仪（VNA）获取不同手势引起的阻抗变化（S11参数），并通过机器学习解释这些信号以生成3D手模型。

• 创新之处:

  • 首次将天线阻抗特性用于连续手势追踪，与现有方法相比，具有更好的隐私保护性以及对环境条件如衣物遮挡的鲁棒性。
  • 提出了天线设计、频率选择以及位置优化的系统性方法，并结合了计算机仿真与真实实验数据的迭代开发方式。

• 实施步骤与关键技术:

  1. 硬件设计: 使用两个紧凑型四叶天线，配备NanoVNA向量网络分析仪和Raspberry Pi来测量并分析反射信号。
  2. 信号处理: 捕获天线返回损耗 (Return Loss) 和相位变化并进行特征化，包括计算阻抗特性和导数等。
  3. 机器学习建模:
     • 连续3D手势追踪: 使用ExtraTreesRegressor预测21个手指关键点的三维位置。
     • 连续腕部旋转追踪: 预测腕部二维旋转角度。
     • 微手势追踪: 利用拇指和手指之间的小幅度动作进行输入操作。
  4. 用户实验与评估: 对手势追踪精度、腕部旋转精度和微手势位置精度进行详细分析。

研究成果

• 具体成果:

  • 实现了实时连续手势追踪，平均每关节位置误差 (MPJPE) 为11.57mm。
  • 追踪腕部2自由度旋转角度的平均误差为5.87°。
  • 微手势追踪的平均二维位置误差为12.1mm。

• 与现有解决方案的比较:

  • 与光学方法（如FingerTrak的热成像摄像头）相比，性能相近（FingerTrak MPJPE为12mm），但鲁棒性更高，能够在衣物遮挡情况下保持精度。
  • 系统无需线视图要求，具有更强的隐私保护性。

• 实验或评估结果:

  • 通过用户实验验证，系统在不同手势、腕部旋转角度及微手势任务中均表现出良好的预测性能。
  • 结果表明衣物遮挡对性能无显著影响。

• 局限性与未来方向:

  • 系统需要佩戴时进行校准，对用户佩戴位置和手部尺寸敏感。
  • 天线设计限制了用户的范围（如靠近身体会引入噪声干扰）。
  • 原型设备帧率较低，仅为2.4FPS，不适合快速交互应用。
  • 将继续探索天线形式优化、帧率提升以及跨用户和场景的通用性。

总结

EtherPose成功以一种紧凑、独立的方式结合射频技术实现了手势追踪，并在用户实验中证明了其有效性与鲁棒性。同时，它指出了多个限制，并提出了清晰的改进和未来研究方向，例如利用柔性PCB进行设计缩减或采用单芯片VNA技术以实现进一步的设备小型化和功耗优化。