STMG：一种支持基于拇指的VR/AR输入的机器学习微手势识别系统

文献标题

STMG: A Machine Learning Microgesture Recognition System for Supporting Thumb-Based VR/AR Input

文献信息

• 主题领域: 虚拟现实/增强现实（VR/AR）微手势识别与机器学习
• 关键词: 微手势, 神经网络, 机器学习, 增强现实, 虚拟现实, 人机交互, 手势识别, 时序卷积网络, 骨骼追踪, 数据增广

研究背景与问题

• 问题或挑战:

  • 当前VR/AR设备中的手部输入方式主要依赖拇指和食指间的“捏合”手势，这种单一手势受限于表达能力。
  • 现有映射手部动作到实际应用的方法通常涉及复杂或大的手臂动作，且手势识别精度受手部追踪抖动与噪声影响较大。
  • 拇指到食指表面的微手势的识别因其尺度小（2-3 cm的滑动或点击）且用户间差异显著而面临挑战。

• 重要性:

  • 扩展手势库以支持更多手势类型可提升用户体验及手部输入的自然性、效率和沉浸感。
  • 高效而准确的手势识别模型是减少误识别和提升用户交互满意度的关键。

• 研究动机与相关工作:

  • 现有手势识别研究集中在可穿戴设备（如环形传感器、电场传感）及深度或RGB摄像头实现的基于骨骼数据的识别系统。
  • STMG 的目标是通过摄像头捕捉的骨骼数据（不使用额外传感器），基于机器学习方法实现高精度的拇指微手势分类。

解决方案

• 提出的解决方案:

  • 设计了一个名为 STMG（Skeletal Tracking MicroGesture）的系统，支持拇指到食指表面的七类微手势识别，包括四个方向滑动（左、右、前、后）、拇指点击、捏合开始和捏合结束。
  • 使用时序卷积网络（Temporal Convolutional Network, TCN）对骨骼运动数据进行分类，并结合多任务损失函数（CTC损失、交叉熵损失和时间对齐损失）提升模型性能。

• 创新之处:

  • 泛化良好的骨骼追踪模型：通过数据收集与注解实验，捕获了包含多种用户变异的大规模数据集，增强了模型的用户适应性。
  • 数据增广策略：通过模拟不同速度手势和手指弯曲变化等方式扩展了训练集中样本的多样性。
  • 点击与滑动结合：将小型拇指动作映射到VR/AR的远程交互和滚动任务，提供了便捷、直观的用户输入方式。

• 实施步骤与技术细节:

  1. 数据收集:
     • 招募了 228 名参与者，并使用OptiTrack和头戴式摄像头系统记录他们的手部运动。
     • 采集了包含正样本（微手势）和硬负样本（非手势）的训练数据。
  2. 模型设计:
     • 使用拇指和食指的8个关节角度作为模型输入特征。
     • 构建了10层卷积模块的TCN，使用膨胀卷积扩展感受野以捕获手势的时间动态。
     • 结合CTC损失和时间对齐损失，解决了手势的位置对齐问题和预测塌陷问题。
  3. 实验评价:
     • 进行了基于20人测试数据集的性能评估，并与传统启发式方法和混合识别方法比较。
     • 通过数据增广实验观察到模型可实现进一步性能提升。
  4. 模型实现:
     • 使用PyTorch框架在GPU上训练模型，并对不同增广策略进行了消融实验。

研究成果

• 具体成果:

  • 模型在七类微手势上的平均 F1 分数达到了 95.1%，其中最难识别的拇指点击手势达到了 90.8% 的F1分数。
  • 与启发式方法（61.0%）和混合方法（81.6%）相比，机器学习方法的性能显著提升。
  • 数据集的平衡测试集进一步验证了模型在性别、年龄、手大小和用手偏向等属性上的鲁棒性。

• 与现有解决方案的对比优势:

  • STMG 模型能够在无需额外传感器的情况下实现与指环传感器等装置相竞争甚至更高的识别精度（OptiRing 93.1%，EFRing 85.2%）。
  • 通过小型手部动作，并保留自然手势，使用户不需要大范围动作便可完成交互。

• 实验或评估结果:

  • 20人用户测试显示：STMG比传统的捏合手势更简单易学，有17人优先选择STMG用于虚拟漫游。
  • 在长距离滚动任务中，六成用户报告STMG的滑动手势比“捏合拖动”更高效且更舒适。

• 局限性与未来方向:

  • 局限性:
    • 手部追踪的精度仍然限制了某些手势（如轻微拇指点击）的可靠性。
    • 拇指到食指的接触手势仍未针对某些高动态场景（例如游戏）完全优化。
  • 未来方向:
    • 引入拇指滑动与点击的连续识别，实现更精细的连续输入功能。
    • 进一步优化对不同风格用户、尤其是小范围动作偏好的适应性。
    • 扩展手势集至双手交互，以支持更多复杂任务。