MyoSign: 基于可穿戴设备实现端到端手语识别

自动手语识别是促进聋人与听力正常人群之间沟通的重要里程碑。现有方法要么具有侵入性，要么容易受环境因素和用户差异影响。此外，大多数方法仅执行孤立词识别，而非句子级序列翻译。本文提出MyoSign，一个基于深度学习的系统，可在词级和句子级实现端到端美式手语(ASL)识别。我们利用轻量级可穿戴设备获取惯性信号和肌电信号以非侵入式捕捉手语。首先，我们提出多模态卷积神经网络从不同感觉模态的输入中提取表示。然后，利用双向长短期记忆网络对时间依赖关系进行建模。在网络顶层，我们采用连接时序分类方法克服时间分割问题，实现端到端连续手语识别。我们在15名志愿者测试的70个常用ASL词和100个ASL句子上评估MyoSign，在用户独立设置下，词级平均准确率达93.7%，句子级达93.1%。此外，MyoSign能以92.4%的准确率识别训练集中未见的句子。结果表明MyoSign在手语识别进展中具有重要意义。