PoseSonic：基于智能眼镜自我中心声学感知的3D上半身姿态估计

本文提出了PoseSonic，这是一种用于智能眼镜的智能声学传感解决方案，能够估计上半身姿态。系统仅需要在眼镜铰链处配备两对麦克风和扬声器，发射FMCW编码的不可听声学信号并接收反射信号进行姿态估计。PoseSonic使用定制的深度学习模型估计包括肩膀、肘部、腕部、臀部和鼻子在内的9个身体关节的3D位置。我们采用跨模态监督策略，使用同步的RGB视频帧作为真值来训练模型。我们对22名参与者进行了实验室和半野外用户研究，用户独立模型在实验室环境中9个身体关节3D位置预测的每关节平均位置误差为6.17厘米，在半野外环境中为14.12厘米。我们的进一步研究表明，不同环境、设备重新佩戴或真实世界环境噪声不会显著影响性能。最后，我们讨论了在实际应用中部署PoseSonic的机会、挑战和局限性。