从虚拟文本描述生成虚拟身体加速度计数据用于人类活动识别

人类活动识别（HAR）鲁棒泛化模型的发展一直受到大规模标注数据集匮乏的阻碍。最近的研究表明，使用计算机视觉技术从视频中提取的虚拟IMU数据与少量真实IMU数据结合训练HAR模型可以带来显著的性能提升。受到从文本描述进行运动合成的最新进展以及将大型语言模型（LLM）连接到各种AI模型的启发，我们引入了一个自动化管道，首先使用ChatGPT生成多样化的活动文本描述。然后，这些文本描述被用于通过运动合成模型T2M-GPT生成3D人体运动序列，随后转换为虚拟IMU数据流。我们在三个HAR数据集（RealWorld、PAMAP2和USC-HAD）上对我们的方法进行了基准测试，结果表明，使用我们新方法生成的虚拟IMU训练数据显著提高了HAR模型性能，优于仅使用真实IMU数据。我们的方法为跨模态迁移方法的不断增长的领域做出了贡献，并展示了如何通过生成不需要任何人工努力的虚拟训练数据来改进HAR模型。