ASL海战：将手语数据收集游戏化

文献标题

ASL Sea Battle: Gamifying Sign Language Data Collection

文献信息

• 主题领域: 手语数据收集与机器学习
• 关键词: 手语识别, ASL（美国手语）, 游戏化, 数据标注, 桌面游戏, 人机交互, 可达性, 用户研究

研究背景与问题

• 发现的问题: 当前手语识别和翻译系统很难在实际环境中可靠运行，主要原因是缺乏高质量的训练数据。现有数据集普遍存在规模小、缺乏多样性、场景不够真实、以及标签缺失或错误等问题。
• 重要性: 准确的机器学习手语模型可以为数百万手语用户打开信息与交流的渠道，包括数字助手、自动手语转录服务和手语与口语互译等应用发展。
• 研究动机与相关工作:
  • 当前已有一些手语词典、教育材料及数据库，但多数为非商业性资源，支持的功能有限，且缺乏娱乐性和互动性。
  • 游戏化数据收集已被成功应用于其他领域（如蛋白质折叠、图像标注等），但尚未有服务手语用户的专门游戏。

解决方案

方法与创新

• 作者提出了ASL Sea Battle，一款以经典桌游“战舰”为基础设计的手机游戏，通过让玩家执行手语策略攻击游戏网格，来收集真实世界手语视频及其标签。这一方法结合了数据收集与标注，同时为用户提供娱乐及教育体验。
• 游戏创新点：
  1. 为每个网格单元绑定具体手语标签，玩家通过录制对应手语视频进行攻击。
  2. 对手通过确认视频和相关网格标签来完成标注任务。
  3. 游戏流程引入了双向互动和竞争机制，提高了用户参与度。

实施步骤与技术

1. 设计过程:
   • 作者借鉴了多个现有桌游原型，并通过迭代测试选择了最符合需求的设计（如散列词、吊人游戏和战舰）。
   • 游戏设计与调试阶段积极邀请手语流利者（尤其是聋人用户）参与，他们成为核心研究团队的一部分。
2. 数据收集与标注工作流:
   • 玩家通过录制实际场景中的手语视频来完成攻击指令。
   • 视频自动发送至对手，由对手完成标注并解锁网格单元。
3. 技术实现:
   • 游戏基于React Native开发，并支持Android与iOS平台。
   • 后端采用Node.js的Express框架，通过REST API与MongoDB数据库确保游戏状态同步。
   • 使用Azure云服务进行数据存储与标准HTTPS安全协议部署。

研究成果

数据质量与用户体验

1. 数据质量:
   • 在用户研究中共收集657个视频，其中98%被专家评估为符合训练模型需求。
   • 标签准确度达到100%，表明用户能够可靠地完成标注任务，即便部分用户为非流利手语者。
2. 数据吞吐量:
   • ASL Sea Battle的交互流程导致数据收集速度略低于传统方法，但提供了额外的娱乐价值。
   • 平均录制时间为17.57秒，标签识别时间也显著受游戏化影响。
3. 参与度与偏好:
   • 95%的参与者认为ASL Sea Battle更有趣；85%感到游戏化的设计增强了他们的长时间使用意愿。
   • 聋人用户特别看重通过游戏连接社区，以及娱乐和教育共存的特色。

局限性与未来方向

1. 局限性:
   • 游戏实验仅限于少量基本手语词汇，后期需扩展至更复杂或连续手语内容的数据集。
   • 游戏内的手语参考视频可能与用法区域变体或个人习惯有偏差，给部分流利用户带来困惑。
   • 在实际部署中需解决数据隐私问题，如对手语视频的保护。
2. 未来计划:
   • 长期部署以收集足够的大量数据以支持模型训练。
   • 开发能够处理自然场景中低质量数据的手语识别模型。
   • 探索社交、教育和职业用途场景中的手语游戏应用扩展。
   • 推广至其他手语使用社区，如国际手语使用群体。

总结

ASL Sea Battle通过游戏化创新解决了手语数据采集与标注的难题，推动了手语技术的发展。研究表明，结合娱乐、教育和社交互动的设计能够提高用户参与度，同时提供高质量数据作为模型训练基础。这种模式可能成为创建可规模化手语技术的重要途径，并为广大聋人社区与手语学习者提供新的资源与服务。