FIP：通过融合柔性传感器和惯性传感器为日常服装赋予鲁棒的动作捕捉功能

研究背景与问题

• 问题和挑战：当前的运动捕捉技术（MoCap）面临多种挑战，尤其是对于松散穿戴衣物中传感器的准确性下降问题。松散衣服会导致传感器的位移，引发显著的关节追踪误差。具体来说，存在两种位移：穿戴初始的主要位移（Primary Displacement）和实际运动中的实时位移（Real-time Displacement）。
• 重要性：实现准确且普适的运动捕捉技术可广泛应用于运动分析、康复和元宇宙交互。然而，现有的IMU（惯性测量单元）和柔性传感器的独立使用技术存在不足，无法平衡精准性和用户舒适性。
• 研究动机：作者提出融合IMU与柔性传感器的多模态方法，以克服单一传感器的局限性，同时还解决松散衣物导致的传感器移位问题，显著提升运动捕捉的准确性。

解决方案

方法与创新点

• 系统设计：提出Flexible Inertial Poser (FIP)，一个全新的松散衣服中的运动捕捉系统，融合了4个IMUs和2个柔性传感器，用于捕捉上肢运动。
• 关键技术创新：
  1. 位移潜在扩散模型（Displacement Latent Diffusion Model, DLDM）：
     • 用于综合生成IMU实时位移数据，使模型在训练中处理多样化的数据分布以提升鲁棒性。
  2. 物理信息校准器（Physics-informed Calibrator, PIC）：
     • 校正柔性传感器的主要位移，通过简单的肘部弯曲校准实际运动角度。
  3. 姿态融合预测器（Pose Fusion Predictor, PFP）：
     • 多模态数据融合技术，结合IMU与柔性传感器的读取，实现更精准的姿态估计。

实施步骤

1. 数据收集：
   • 通过仿真数据（紧穿和松穿状态下IMU信号，以及两者的差值）生成训练数据。
   • 真实数据则通过与紧穿设备（如Perception Neuron 3系统）对比采集。
2. 数据处理与模型构建：
   • DLDM通过变分自动编码器（VAE）生成IMU位移数据；采用扩散模型（Diffusion Models）进一步生成高质量和多样化位移数据。
   • 对柔性传感器使用PIC校正主位移。
   • PFP利用多层长短记忆网络（LSTM）结合多模态传感器数据，完成姿态估计。
3. 实时操作：
   • 系统经过校准后，以60 Hz的频率运行，实现流畅的实时捕捉。

研究成果

具体成果

• 精确性提升：
  • 总角度误差减少了19.5%，肘部误差减少了26.4%，关节点位置误差减少了30.1%。
  • 凭借柔性传感器的加入，显著降低了肘部追踪误差。
• 与现有技术的优势：
  • 在松散穿戴条件下，FIP的表现优于当前所有基于IMU的实时运动捕捉方法，包括DIP、PIP、LIP等。
  • FIP兼顾舒适性和准确性，是松散衣物中的一种创新方案。
• 实验结果：
  • 广泛的实验验证显示FIP在多个运动模式和用户体型间具有良好的泛化能力。
  • 系统的运行频率为60 Hz，且稳定性高，即时性强。

局限性与未来方向

• 硬件局限性：
  • 不同衣物尺寸和面料对捕捉性能的影响需要进一步探讨。
  • 尚未验证在低功耗嵌入式设备上的性能。
• 算法改进：
  • 虽然PIC解决了柔性传感器的初始位移校正，但实时大规模传感器位移（如剧烈运动中产生的位移）的校正仍是一个技术难点。
  • 探索将衣物特性（如剪裁、布料）以及用户体型纳入建模算法中，可进一步提高系统的通用性和精准性。

总结

作者提出了一种实时、精准的运动捕捉方法，通过融合IMU和柔性传感器实现了在松散衣物中的鲁棒运动捕捉。研究展示了该技术在元宇宙、康复和健身等领域的潜在应用价值，同时也开拓了松散衣物运动捕捉研究的新方向。这项研究不仅显著提升了技术前沿，还为未来进一步探索传感器融合的潜力奠定了基础。