AuslanSpell：一种提高澳手语手指拼写理解能力的交互技术

文献标题

AuslanSpell: An Interactive Technology for Improving Auslan Fingerspelling Comprehension

出版信息

• 主题领域: 手语教育的交互技术
• 关键词: Auslan, 手指拼写, 手语, 动作捕捉, 3D 动画, 聋人教育, 交互学习, 虚拟人技术, 可用性测试, 语言习得

背景与问题

• 问题/挑战: Auslan 学习者在解码手指拼写时面临显著挑战，原因在于练习机会有限，以及缺乏针对 Auslan 双手字母表设计的交互动态资源。
• 重要性: 解决这些挑战对于改进 Auslan 教育、增加认证翻译员数量以及减少聋人在职业和社交环境中的孤立感至关重要。
• 动机与相关工作: 尽管已有针对 ASL 手指拼写的数字工具，但由于字母表的差异，这些工具无法直接应用于 Auslan。目前的 Auslan 资源大多是静态的，缺乏吸引力，且未能展示字母之间的自然过渡。先前的研究强调了过渡和动作在手指拼写理解中的重要性，但尚未开发出专门针对 Auslan 的交互工具。

解决方案

• 提出的方法: AuslanSpell 是一款交互式应用程序，能够从任意英文文本输入生成 3D 动画的 Auslan 手指拼写序列，具有流畅的过渡效果和可定制的设置。
• 创新点:
  1. 使用动作捕捉技术开发了首个 3D Auslan 手指拼写数据集。
  2. 创建了一款免费开放的应用程序，可生成逼真的 Auslan 手指拼写动画。
  3. 验证 AuslanSpell 作为新手学习者的有效学习工具，展示其提升理解力和参与度的潜力。
• 方法和关键技术:
  • 动作捕捉 8 位聋人 Auslan 使用者的手形和过渡动作。
  • 与聋人教育工作者反复验证和清理动画以确保准确性。
  • 开发具有可调节签字速度、可旋转视图和可定制手模等功能的应用程序。
  • 对 33 名新手学习者进行用户评估，以评估学习效果和可用性。

结果

• 具体发现:
  • 参与者在多选回读任务中的平均得分为 8.2/10，显著高于随机猜测的概率。
  • 在自由文本任务中，参与者正确识别首字母的比例为 80%，末字母为 74%，中间字母为 34%。
  • 系统可用性量表 (SUS) 平均得分为 81.2/100，表明用户满意度较高。
• 相较基线的优势:
  • 与静态资源相比，显著提高了参与度和理解力，且应用程序的技能可迁移至真人手指拼写回读。
  • 用户高度评价了可调节速度和可旋转视图等功能。
• 实验/评估:
  • 参与者: 33 名新手学习者（无 Auslan 经验的大学生）。
  • 任务: 熟悉应用程序，自由探索 AuslanSpell，并完成手指拼写回读测试（多选和自由文本）。
  • 指标: 字母和单词识别的准确性、可用性评分以及定性反馈。
• 局限性与未来工作:
  • 范围仅限于字母的标准形式；未来将探索连贯发音效应和社会语言学变体。
  • 测试对象仅限于大学生；计划的研究将包括更多样化的学习者群体，如 TAFE 学生和中级学习者。
  • 当前动画缺乏随机变化；未来版本将整合生成模型以增强真实感。

总结

AuslanSpell 是一款突破性的应用程序，通过动作捕捉和 3D 动画技术解决了学习 Auslan 手指拼写的挑战。通过提供可调节速度和可旋转视图等交互功能，它提升了学习者的参与度和理解力。对 33 名新手学习者的初步测试显示了显著的学习效果，参与者在多选任务中的表现高于随机概率，并在自由文本任务中正确识别了首字母和末字母。该应用程序有望通过提供可访问的个性化学习工具，彻底改变 Auslan 教育，未来工作将专注于扩展数据集、优化动画以及测试更广泛的学习者群体。