MMTSA：用于高效人类活动识别的多模态时序片段注意力网络

多模态传感器为开发精确的人类活动识别（HAR）机器学习方法提供互补信息，但会引入显著更高的计算负载，从而降低效率。本文提出了一种基于RGB相机和惯性测量单元（IMU）的高效HAR多模态神经网络架构，称为多模态时序片段注意力网络（MMTSA）。MMTSA首先使用Gramian角场（GAF）将IMU传感器数据转换为保留时序和结构信息的灰度图像，以表征人类活动的内在特性。然后，MMTSA采用多模态稀疏采样方法减少数据冗余。最后，MMTSA采用片段间注意力模块进行高效的多模态融合。我们使用三个成熟的公共数据集评估了MMTSA在HAR中的有效性和效率。结果表明，我们的方法在MMAct数据集上跨主体F1-score提升了11.13%，优于现有最先进（SOTA）方法。消融实验和分析表明，MMTSA在融合多模态数据以实现精确HAR方面非常有效。边缘设备上的效率评估显示，MMTSA实现了显著更好的精度、更低的计算负载和更低的推理延迟。