通过语言、姿态和合成IMU的联合表示增强基于惯性传感器的手部人体活动识别

由于人体活动识别中标注传感器数据的稀缺性，之前的研究转向利用具有丰富活动标注的视频数据来合成惯性测量单元(IMU)数据。然而，从视频生成IMU数据面临着合成IMU数据质量差和对细微、精细动作识别效果有限的挑战。本文提出了Multi³Net，这是一种新颖的多模态、多任务且基于对比学习的框架。该预训练过程使用在线视频仓库，旨在同时学习文本、姿态和IMU的联合表示。通过采用视频数据和对比学习，我们的方法旨在提升可穿戴式人体活动识别的性能，尤其是在识别细微活动方面。实验结果验证了我们方法在利用IMU数据提升人体活动识别性能方面的有效性。