SignRing：使用IMU戒指和虚拟IMU数据进行连续美国手语识别

手语是失聪和听力障碍（DHH）个体广泛使用的自然语言。已开发出先进的可穿戴设备来自动识别手语。然而，它们受到标注数据缺乏的限制，导致词汇量小且性能不佳，即使在数据收集投入大量努力的情况下也是如此。本文提出了 SignRing，这是一种基于 IMU 的系统，突破了传统数据增强方法的限制，利用在线视频生成虚拟 IMU（v-IMU）数据，并将可穿戴设备支持系统的边界推向词汇量达 934 个、手势长达 16 个的句子。v-IMU 数据是通过从双视角视频重建 3D 手部运动并计算 3 轴加速度数据生成的籍此，我们使用混合一半 v-IMU 和一半 IMU 的训练数据（每类 2339 个样本）实现了 6.3% 的词错误率（WER），使用 100% v-IMU 训练数据（6048 个样本）实现了 14.7% 的 WER，而基准性能为使用 2339 个 IMU 数据样本训练的 8.3% WER。我们进行了 v-IMU 和 IMU 数据之间的比较，以证明 v-IMU 数据的可靠性和可推广性。这项跨学科工作涵盖可穿戴传感器开发、计算机视觉技术、深度学习和语言学等多个领域，可以为具有类似研究目标的研究人员提供有价值的见解。