PopSignAI：利用手语识别游戏改善初学者美式手语学习

为了帮助初学者学习美式手语，我们开发了PopSignAI，一个基于智能手机的证明概念的气泡射击游戏，通过孤立手语识别促成交互。在20人的用户研究中，我们证明鼓励初学者在PopSignAI中练习手语生成比专注于接受性手语理解的PopSign版本更高效地进行ASL技能教学。我们使用来自47位手语者的250个手势的超过200,000个示例来训练和测试用户无关的LSTM识别器，在独立测试集上达到82.9%的准确率。为了游戏目的，识别器使用2.5MB模型平均达到99.6%准确率和7毫秒推理时间。消融研究表明，只需8位手语者进行训练即可达到PopSignAI游戏玩法的足够识别准确率。为鼓励未来的手语识别游戏，我们发布了PopSignAI识别流程和软件。我们确定失聪儿童的健听父母作为手语游戏的重要潜在用户，并对其中8位父母进行访谈，研究他们学习手语的动机和挑战。