IMUPoser：使用手机、手表和耳塞中的IMU进行全身姿态估计

文献标题

IMUPoser: Full-Body Pose Estimation using IMUs in Phones, Watches, and Earbuds

文献信息

• 主题领域: 利用消费级设备中的惯性测量单元（IMUs）进行全身姿势估计
• 关键词: 全身动作捕捉, 传感器, 惯性测量单元, 移动设备, 姿势估计, 可穿戴设备, 深度学习, 数据合成, 实时系统, 健康护理

研究背景与问题

• 发现的问题或挑战:

  • 全身姿势跟踪对于虚拟现实、游戏、健身、康复和上下文感知应用有重要意义，但现有的高精度系统（如XSens或Vicon）价格昂贵并需要笨重的设备。
  • 消费级设备（如智能手机、智能手表和耳机）的IMU数据传感点稀少，且设备配置随时间变化，利用这种可变稀疏的数据估计完整的人体姿态极具挑战。
  • 消费级IMU数据质量较低，噪声较高，数据帧率较低。

• 问题重要性: 如果能够从用户已经拥有的日常设备中生成有用的姿势信息，将为健康监测、运动分析以及日常活动记录带来显著影响。而无需安装高成本或专用硬件的大范围使用场景，能够极大地降低普及门槛。

• 研究动机与相关工作:

  • 商业系统（例如XSens、Vicon）与基于外部设备（Kinect、深度摄像头）的姿势捕获方式尽管精度高，但存在成本和便携性问题。
  • 一些研究尝试通过 IMU 传感器或个别设备捕捉人体某些关节运动，但通常需要同步多个高质量传感器。
  • 目前尚无基于稀疏数量消费级IMUs设备的实时准确全身姿势估计方案。

解决方案

• 提出的方法或解决方案:

  • 提出了一种名为IMUPoser的新系统，利用智能手机、智能手表和耳机中的IMU实现实时全身姿势估计。
  • 系统通过动态检测设备在身体上的位置并结合IMU数据估测人体姿势。设计了兼容稀疏传感点和不完整输入的模型架构。
  • 初始模型训练基于从高分辨率动作捕捉数据生成的合成IMU数据，结合用真实消费设备采集的数据完成微调和测试。

• 创新之处:

  • 支持设备稀疏分布和动态变化，能适应1至3个IMU传感设备的组合。
  • 实时运行，无需专门硬件，完全依赖消费者已有设备。
  • 模型设计包含面向设备缺失情况下的鲁棒性处理与数据丢失平滑机制。
  • 引入多层双向LSTM架构确保预测输出具有时序连贯性，同时实现低计算复杂度的实时表现。

• 实施步骤与技术细节:

  1. 模型设计: 基于双向LSTM架构（256维隐藏层），接受设备IMU位置（3加速度轴+9旋转矩阵）数据作为输入，输出144参数的SMPL人体模型姿势。
  2. 数据生成与校准: 使用AMASS数据集生成IMU姿势数据，设计算法模拟设备缺失。基于Swift的CoreMotion API对IMU传感器进行校准。
  3. 模型训练: 使用PyTorch进行监督学习，损失函数包含基于全身关节位置和旋转误差的MSE损失。
  4. 逆运动学（Inverse Kinematics）优化: 通过IMU绝对方向数据对特定关节实现姿势细化（如手腕、肩部和头部）。
  5. 实时系统: 基于苹果设备生态系统实现数据流和实时姿势估计，推理时间平均为26.8 ms。

研究成果

• 具体成果:

  • 在IMUPoser和DIP-IMU数据集上的平均误差分别为14.1 cm和12.1 cm。
  • 当仅有一个设备时，平均误差为16.27 cm；当有三个设备时，误差降至11.1 cm。
  • 系统在DIP-IMU数据集上MPJVE为12.1 cm，与要求更多IMU的先进系统相差仅3-5 cm。

• 与现有解决方案相比的优势:

  • 消费级设备实时实现，与更专业或复杂硬件（如XSens、Deep Inertial Poser）相比，部署成本和复杂度显著降低。
  • 灵活适应设备数量和位置动态变化，支持不同设备组合。

• 实验或评估结果:

  • 在各类任务（步态、跳跃、头部运动等）中均能鲁棒处理；特别是对于具有明确运动模式（如对称运动）的活动，即使传感点稀少也能做到准确预测。
  • 当跨腿运动与无设备构成对比时，左右腿轨迹近似，但误差不显著累积。
  • 实时实现用户设备的自动跟踪，其位置识别准确性达90%以上。

• 局限性与未来方向:

  • 对非传感点部分的姿势推断精度受限，难以处理高度独立的局部肢体运动。
  • 暂不支持动态活动（如骑自行车、划船）以及全球位移估计。
  • 当前实时实现依赖同一设备生态（Apple），下一步可能需探索跨设备平台的兼容性。
  • 系统能扩展支持更多设备（如智能鞋、可穿戴戒指等）。