SpellRing：使用戒指识别美国手语中的连续手指拼写

研究背景与问题

• 问题与挑战:
  • 手语指拼(ASL fingerspelling)是美国手语中的重要组成部分，特别用于专有名词、名称和技术术语的拼写。在自然指拼中，手形、手掌方向和运动变化复杂，这给连续识别任务带来了很大挑战。
  • 传统基于计算机视觉的方法受限于成本高、隐私问题（如需要摄像头）以及可移植性差；现有的可穿戴设备（如数据手套、手环）通常需要笨重硬件，且对使用者的手势行为干扰大。
  • 目前，大多数装置只能实现孤立字母的识别，未能适应流利手语用户的自然连续指拼行为。
• 重要性:
  • 指拼识别是构建全面ASL识别系统的基础，能够为听障人士提供可接触的文字输入方法，并提升他们与数字设备（如智能手机、VR设备）的交互能力。
• 研究动机与相关工作:
  • 作者总结了手语识别设备需要满足的要求：精确性、最小干扰性和用户行为的自然性。他们注意到目前的系统在这些方面尚未完全达标。
  • 为解决传统方法存在的便携性和隐私问题，作者探讨了轻量化设备（如戒指）的潜力，并结合使用主动声学传感和惯性测量单元（IMU）技术。

解决方案

• 方法与创新:

  • 提出了一款名为SpellRing的智能戒指，使用单一设备实现连续指拼的实时识别。这是首个结合主动声学感知和IMU传感器的单戒指系统。
  • 整合了连接时序分类（CTC）算法，无需对指拼中的每个字母单独标注即可识别完整单词。
  • 使用一种双模态传感技术：主动声学传感用于捕捉手形特征，IMU用于追踪手部运动及手掌方向，形成细粒度的动作数据。

• 实施步骤:

  1. 硬件设计:
     • 在戒指中集成了麦克风、扬声器、IMU模块，并采用灵活印刷电路板（FPCB）实现轻量化设计。
  2. 数据处理:
     • 声学传感器数据（差分回声特征）与IMU数据（手部旋转角速度）经过规范化处理后输入深度学习模型。
     • 开发多模态深度学习流水线，将不同传感器的数据经过融合处理，最终由CTC模型输出。
  3. 模型训练:
     • 测试了跨用户预训练和单用户微调的两阶段训练方案，提高模型在用户依赖设置中的表现。
  4. 语言模型校正:
     • 使用N元语言模型进一步校正模型可能的识别错误，特别在真实语境中提升短语预测精度。

研究成果

• 具体成果:

  • 在1,164个单词的离线识别中，SpellRing实现了82.45%的Top-1准确率和92.42%的Top-5准确率。
  • 在实时短语级别测试中，使用语言模型校正后，实现了0.099的词错误率（WER）。
  • 实现了较高的跨用户泛化能力，同时保持了便捷的硬件小型化设计。

• 优势:

  • 与现有多戒指系统相比（如FingerSpeller的91%准确率需要5个戒指），SpellRing仅使用单戒指便展示了出色的识别性能。
  • 系统对用户的自然指拼行为干扰较小，同时硬件更轻量化和便捷化。
  • 提出了传感器融合框架，有效缓解了单一模态传感器的缺陷。

• 实验与评估:

  • 用户研究中涉及20名参与者，包括13名流利的ASL使用者和7名初学者：
    • 流利使用者的准确率相对较低（共84.06%），反映了模型对快速指拼行为的适应性问题。
    • 初学者的表现更佳（94.38%），因其动作清晰而使模型表现更好。
  • 语言模型显著降低了短语预测中的错误率，显示结合语言上下文的潜在优势。

• 局限性与未来方向:

  • 局限性:
    • 用户独立（User-independent）识别的性能仍较低（48.42%）；系统对快速指拼（最多每秒8个字母）仍有局限。
    • 当前的词汇有限（1,164个单词），未能完全涵盖手语丰富的表现形式。
    • 器件在环境噪声中可能受到影响，需进一步优化声学处理机制。
  • 未来方向:
    • 扩展数据集规模以及构建更先进的预训练模型，以提高跨用户识别性能。
    • 集成两只手的手势识别，向完整的ASL句子及非手动作标记方向扩展。
    • 提升硬件设计，通过柔性电路板和曲面电池实现完整的环形装置。
    • 强化与听障人士及手语用户的协作，以确保设备优化能契合目标用户的真实需求。