从野生 ASL 视频生成合成智能手表 IMU 数据

可穿戴设备中 IMU 训练数据的稀缺性对基于 IMU 的美国手语（ASL）识别构成了严峻挑战。在本文中，我们提出以下问题：能否将大量公开可用的野生 ASL 视频“翻译”成相应的 IMU 数据？我们通过提出视频到 IMU 翻译框架（Vi2IMU）来回答这个问题，该框架以用户视频作为输入，从用户手腕视角估算 IMU 加速度和陀螺仪数据。Vi2IMU 由两个模块组成：一个手腕方向估计模块，通过仔细整合手部关节位置来考虑手腕旋转；另一个是加速度和陀螺仪预测模块，在转换过程中利用方向信息，同时捕捉手部动作和形态的贡献，以产生真实的手腕加速度和陀螺仪数据。我们通过将公开的 ASL 视频翻译成相应的手腕 IMU 数据来评估 Vi2IMU，并仅使用翻译数据训练手势识别模型。结果表明，与使用测量 IMU 数据训练的相同模型相比，使用翻译数据的模型表现相当不错。