MobilePoser：移动消费设备中基于IMU的实时全身姿态估计与3D人体位移追踪

DOI

全身动作捕捉的仪器化持续精简，从专业房间和设备发展到穿戴式传感器阵列，再到近期的稀疏惯性姿态捕获方法。然而，随着这些技术迁移到手机、手表和耳机等普及型消费设备的低精度IMU时，出现了在线性能受损、时间一致性丧失和全局位移因传感器噪声和漂移而丢失等挑战。为解决这些问题，我们引入MobilePoser，这是一种使用消费设备中任何可用IMU子集进行全身姿态和全局位移估计的实时系统。MobilePoser采用多阶段深度神经网络进行运动学姿态估计，随后进行基于物理的运动优化，在保持轻量化的同时实现最先进的精度。我们通过一系列演示应用来说明MobilePoser在健康与健身、游戏、室内导航等多个领域的独特潜力。