探索手语转语音翻译器中情感语音集成对聋人与健听人沟通的影响

情感语音在有效的日常互动中起着至关重要的作用。聋人和重听人（DHH）通常缺乏语音的使用能力，依赖面部表情来补充手语和传达情感。然而，在美国手语（ASL）中，面部表情不仅用于情感目的，还作为可以改变手势含义的语言标记。这种双重角色常常使非手语者在解读手语者的情感状态时感到困惑。在本文中，我们开展的研究包括：（1）确认非手语者在从ASL交流中的面部表情解读情感时面临的挑战；（2）展示将情感语音集成到翻译系统中如何增强健听人理解手语者情感意图的能力。对45名健听参与者（非ASL手语者）进行的在线调查显示，当同时使用情感和语言面部表情时，手语者的情感经常被误解。研究结果显示，在翻译系统中加入情感语音后，情感识别能力显著提高了32%。此外，对48名DHH参与者的后续调查强调了实施情感语音功能的设计考虑，强调了情感语音集成对于缩小DHH和健听人之间沟通差距的重要性。