SmartASL：基于可穿戴设备的「即时护理」综合美国手语翻译系统

手语在聋人和听力障碍者（DHH）与听力人群之间建立了重要的桥梁。不幸的是，大多数听力人群在理解手语方面面临挑战，需要手语翻译。然而，最先进的基于可穿戴设备的技术主要集中于识别手势标记（如手部动作），而经常忽略非手势标记，如摇头、疑问标记和嘴部动作。这种疏忽导致手语中大量语法和语义信息的丢失。为解决这一局限性，我们引入了SmartASL，这是一种新颖的概念验证系统，可以：1）使用耳塞和佩戴在手腕上的IMU组合同时识别手势和非手势标记，2）将识别的美国手语（ASL）词汇翻译成口语。我们的实验表明，SmartASL系统在准确识别ASL中的手势和非手势标记方面具有重大潜力，使用商用设备有效地弥合了ASL手语者和听力人群之间的沟通鸿沟。