SignGlass: 使用可穿戴眼镜实现第一人称视角全面且可泛化的美式手语翻译

DOI

失聪和听力障碍(DHH)个体与听力正常个体之间的沟通障碍仍然是一个重大挑战，突出了实现无缝手语解释技术的需求。然而，当前的美式手语(ASL)识别和翻译系统面临关键局限，包括便携性差、使用场景复杂、对关键组成部分的捕获不完整以及泛化能力弱，降低了实用性和用户接受度。为应对这些挑战，本研究提出SignGlass，这是首款配备三个可穿戴摄像头的智能眼镜，用于全面捕获手部和非手部ASL标记，并支持实时识别和翻译成英语的先进算法。具体而言，SignGlass集成了抖动感知时空注意力机制，用于鲁棒识别手部运动模式。此外，双摄像头时间感知面部模块捕获对ASL理解至关重要的微妙面部表情。为了支持不同个体的多样化签名风格，研究者进一步引入级联数据增强策略来提升模型泛化能力。在14名失聪参与者的用户研究中，SignGlass实现了高翻译准确性并获得良好反馈，证明了其在弥合沟通差距方面的有效性。这项工作凸显了多摄像头可穿戴系统在推进ASL翻译和促进更具包容性的沟通方面的潜力。