SmartPoser：基于UWB和IMU数据的智能手机和智能手表手臂姿态估计

文献标题

SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data

文献信息

• 主题领域: 可穿戴设备与人体动作识别
• 关键词: 智能手表, 传感, 手势识别, 身体姿态, 移动设备, 交互技术

研究背景与问题

• 作者发现的问题或挑战:

  • 当前市面上的智能手表对用户手臂的姿态信息了解非常有限。
  • 现有的手臂姿态追踪系统通常需要外部设备（如摄像头），带来隐私问题或受限于固定地点。此外，基于多个IMU（惯性测量单位）传感器的解决方案尽管有效，但在消费者中普及困难。
  • 手臂运动追踪对于健身、康复训练、增强现实交互和上下文感知助手等应用具有重要价值，但实现更加便捷和移动化的方法仍然是挑战。

• 为什么问题重要:

  • 实时了解用户手臂姿态能够扩展健康管理、动作识别、游戏交互等多个领域的能力。
  • 大量用户已经拥有的智能手机和智能手表的软硬件能力尚未被充分利用，用于解决问题具有高性价比和普适性。

• 研究动机与相关工作:

  • 作者综述了基于UWB（超宽带）测距和IMU传感器的数据融合在姿态估计方面的潜力。
  • 之前的研究关注于分布多点的IMU，或者需要额外安装设备的解决方案，无法实现迁移性或实时性。
  • 本研究拟解决系统漂移和稳定性问题，同时避免用户额外复杂硬件投入。

解决方案

• 提出的方法或解决方案:

  • 提出“SmartPoser”，这是一种仅通过智能手表和智能手机的现成设备实现手臂实时三维姿态追踪的系统。
  • 核心是融合UWB绝对测距数据（更少漂移）与IMU数据（提供方向和加速度信息）并优化姿态估计。

• 创新之处:

  • 系统完全基于现成设备，无需用户额外硬件成本。
  • 利用UWB的绝对测距功能克服惯性传感数据漂移问题，这是首次将UWB数据引入到可穿戴系统的姿态追踪。
  • 通过双向LSTM（长短时记忆网络）处理数据以提高追踪精度，降低了复杂动作中的噪声和误差。

• 实施步骤与关键技术:

  1. 设备选择与数据采集: 使用iPhone 13 Pro和Apple Watch Series 7作为实验的原型设备，通过UWB和IMU采集数据。
  2. UWB校正:
     • 设计了一个双层双向LSTM网络，对UWB测距数据进行校正，减少线性漂移和遮挡影响。
  3. 姿态估计:
     • 基于校正后的UWB数据与IMU传感器数据，另设计双层双向LSTM进行三维关节位置预测（包括肩部、肘部、手腕）。
  4. 用户实验与系统评估:
     • 通过实际活动和宽泛的静态动作测试数据集，验证系统性能。
  5. 实时输出与可移植性:
     • 方法在智能手机上的实时推理时间仅为1ms，可以以25 FPS速度完成预测。

研究成果

• 具体成果:

  • SmartPoser在手腕和肘部位置的中位定位误差为11.0 cm，这与许多需要专业设备的系统达到了相当的精度。
  • 系统无需用户提供训练数据，支持“即开即用”的应用模式。
  • 系统设计为高可移植性，可以运行在用户现有的智能硬件设备上。

• 与现有解决方案的比较和优势:

  • 相对于ArmTrak和IMUPoser等现有方案，SmartPoser在支持用户移动时保持等效或更高的精度。
  • UWB与IMU数据的结合显著减少仅靠IMU的漂移和不稳定问题，误差改善幅度达20%-26%。

• 实验或评估结果:

  • 在用户实验中，SmartPoser对动态日常活动和更具挑战的肢体动作追踪均表现稳定。
  • 通过使用Azure Kinect提供的关节数据作为地面真实值，验证模型的准确性。
  • 实验中UWB校正显著减小了由于人体遮挡而导致的35厘米级误差，最终精度控制在10厘米以内。

• 局限性与未来方向:

  • 限制：当前只能适配于手机放置在前裤袋中的情况，当设备位置变化则需要重新校准；此外，女性用户因衣物缺乏功能口袋可能受限。
  • 未来改进方向：
    1. 支持更多手机携带方式（如背包或手拎）。
    2. 简化校准步骤到单一手势。
    3. 扩展到其他支持UWB技术的可穿戴设备如耳机或智能眼镜。
    4. 集成增强的设备位置检测模式，进一步提高用户体验。

总结

SmartPoser项目展示了利用商品智能设备追踪手臂姿态的可行性。通过UWB和IMU数据融合，系统在不增加用户硬件成本的情况下实现了高精度实时追踪。这为健身、康复、游戏、上下文感知助手等领域构建更智能的应用提供了新的可能性，具有重要的研究和实际价值。