EchoWrist：使用腕带上的低功耗主动声学感应进行连续手势跟踪和手-物体交互识别

文献标题

EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband

文献信息

• 主题领域: 人机交互技术与可穿戴设备
• 关键词: Acoustic Sensing, Wearable, Smartwatch, Hand Pose, Hand-Object Interaction, Continuous Tracking, Low-Power, Gesture Recognition, Wristband, Machine Learning

研究背景与问题

• 发现的问题或挑战:

  1. 人类手部活动对人机交互具有重要意义，追踪手部姿态和理解手部与物体的交互仍是技术难点。
  2. 手部的高度灵活性及其多关节结构增加了建模难度。
  3. 手指遮挡和与其他物体交互可能导致对手部形状和动作的识别困难。
  4. 传统方法依赖外部摄像头，存在侵入性、功耗高、使用不便等问题。
  5. 可穿戴解决方案中，皮肤接触传感器引发不适，摄像头方法功耗大，隐私问题突出，且许多系统缺乏连续追踪能力或难以识别手部与物体的交互。

• 重要性: 研究连续手部追踪和手部与物体交互识别能够广泛应用于人机交互领域，如智能家居、健康监测和增强现实，从而提升用户体验与系统功能。

• 研究动机与相关工作: 作者从可穿戴设备的低侵入性和多功能性出发，探讨如何克服现有技术的局限。相关领域包括基于摄像头、肌电图（EMG）和声学传感的手势识别技术，但这些方法在功耗、舒适度和功能性上仍有改进空间。

解决方案

• 提出的方法与解决方案:

  1. EchoWrist: 一款低功耗手环，采用主动声学传感技术，可连续估计3D手部姿势并识别手部与物体互动。
  2. 设备配备两个发射无声声波的扬声器以及两个接收反射信号的麦克风，通过深度学习模型分析回声图谱，以恢复手部姿势和识别日常手部活动。

• 创新性:

  1. EchoWrist首次实现低功耗、低侵入性的手环形式，能够同时进行3D手部姿态追踪和手部与物体交互识别。
  2. 利用主动声学信号捕获手部与物体形状与动作信息，无需摄像头或复杂传感器。

• 实施步骤与关键技术:

  1. 硬件设计：紧凑的手环结构，扬声器和麦克风分布于腕部上下方。
  2. 声学传感：发射连续频率调制波（FMCW），结合回声分析形成回声图谱。
  3. 数据处理与深度学习：通过定制的卷积神经网络（CNN）模型学习回声图谱以推断手部姿态及交互。
  4. 用户研究与实验：采集用户数据评估模型精度与可靠性。

研究成果

• 取得的具体成果:

  1. EchoWrist能够连续追踪20个手指关节，平均欧氏距离误差（MJEDE）为4.81mm，平均角度误差（MJAE）为3.79°。
  2. 在12种日常手部与物体交互中，识别准确率达到97.6%。
  3. 功耗仅为57.9mW，支持全天使用（19小时的电池续航）。

• 与现有解决方案的比较优势:

  1. 功耗显著降低，仅为现有技术的1/10至1/63，同时具有更小的设备尺寸和无侵入性。
  2. 设备支持未训练用户和未见手势的推断，具有较高鲁棒性。

• 实验或评估结果: 实验结果显示，与已有技术相比，EchoWrist在精度、功耗和用户舒适度上都有显著提升。同时，设备在不同背景噪音下的表现稳定，无性能下降。

• 局限性与未来方向:

  1. 衣物遮挡问题: 长袖衣物可能影响设备测量性能。
  2. 动态动作和持物的手部跟踪性能欠缺: 未来需进一步实验验证与改进。
  3. 交互识别范围: 当前实验集中在厨房场景，未来需扩展到更广泛的日常生活环境。
  4. 隐私保护问题: 需进一步优化数据过滤处理以确保用户音频隐私。
  5. 智能手表集成: 探索将该技术应用于现有商品化智能手表硬件上。

总体而言，EchoWrist为可穿戴设备的手势识别领域提供了新思路，具有广泛的实际应用潜力。未来研究可以通过不断优化和扩展功能，将其全面推向市场。