AO-Finger：通过声光传感器融合实现无手操作的细粒度手指手势识别

文献标题

AO-Finger: Hands-free Fine-grained Finger Gesture Recognition via Acoustic-Optic Sensor Fusing

文献信息

• 主题领域: 人机交互，增强现实/虚拟现实，指尖手势识别
• 关键词: 声学光学融合、高精度手势识别、穿戴设备、微手势、XR交互

研究背景与问题

• 发现的问题或挑战：

  • 目前XR设备的手势交互需要较大的用户努力，比如通过触摸表面或使用手持设备，增加用户疲劳感。
  • 许多现有解决方案需要视野范围内的跟踪或能够直接观察手部，而指尖动作通常不易被观察到。
  • 声学传感器由于信噪比低和背景噪音容易受干扰，在微手势精度追踪上有所局限。
  • 很多方案仅支持离散手势而无法进行连续、高精度手势跟踪。

• 重要性：

  • 微手势（如轻拂、轻捏）不仅能提供更自然的交互体验，还可以让用户在多种场景中轻松进行操作。
  • 高精度手势检测作为下一代XR设备交互的基础功能，有助于改善生产力和用户体验。

• 研究动机与相关工作：

  • 针对现有手势识别解决方案的不足，如设备佩戴舒适性有限、无法追踪指尖动作等，探索融合多种传感器以构建更稳定和高效的手势检测系统。

解决方案

• 提出的方法或解决方案：

  • 提出了一种名为AO-Finger的系统，结合光学运动传感器和改良的听诊器麦克风，用于高精度的微手势识别。
  • 定义了一组自然、低显著性且容易执行的微手势，包括轻拂（Flick）、轻捏（Pinch）、轻触（Tap）、左滑（Swipe Left）和右滑（Swipe Right）。

• 创新之处：

  • 创新性结合声学和光学传感器的优点来提升检测精度和信号鲁棒性。
  • 设计了两分支的神经网络体系架构，分别用于快速手势分类和连续滑动手势检测。
  • 提出了物理模拟增强的数据扩充技术，以减少模型过拟合。

• 实施步骤与关键技术：

  • 硬件设计：
    • 搭建一个包含双光学传感器和改良听诊器麦克风的腕带设备。
    • 改良麦克风以减少皮肤干扰噪声，同时放大手势信号。
    • 光学传感器通过IR信号检测腕部皮肤运动并进行实时处理。
  • 信号处理：
    • 声学信号通过频谱图转换为时域与频域信息以捕捉丰富特征。
    • 采用中值滤波消除光学和声学信号中的尖峰噪声。
  • 模型设计：
    • 多模态CNN-Transformer模型用于快速手势（如Flick、Pinch、Tap）检测。
    • 神经网络用于检测手指接触状态以触发连续滑动手势跟踪模式。
  • 系统逻辑：
    • 利用有限状态机（FSM）进行预测结果聚合以减少误报。

研究成果

• 具体成果：

  • AO-Finger原型实现了94.83%的手势检测总体准确率。
  • 提供了连续性高精度滑动手势跟踪功能，与离散手势检测方案相比，支持更精确的交互。

• 与现有解决方案的优势：

  • 与使用摄像头或其他类型传感器的方案相比，AO-Finger的硬件设计更紧凑，功耗更低，不受环境光限制。
  • 在微手势检测中，结合声学和光学信号提升了检测的稳健性和准确性。

• 实验或评估结果：

  • 在典型用户环境下表现出较好的鲁棒性，能够减少触发误报。
  • 实验验证表明其在AR眼镜中作为交互设备具有较高的可用性。
  • 通过深入用户实验，AO-Finger在滑动手势跟踪任务中表现出流畅响应。

• 局限性与未来方向：

  • 局限性：
    • 系统现阶段的模型推理需依赖外部设备（如笔记本电脑），尚未加载于腕带上。
    • 用户必须保持手相对静止以触发检测，降低了操作流畅度。
    • 尚未验证在大规模用户群体中的适用性。
  • 未来方向：
    • 推进模型推理至腕带设备中以增强便携性。
    • 优化硬件设计以提高传感器领域视野和功能性。
    • 扩大数据采集规模以支持更广泛的用户群体。
    • 开展系统的主观可用性研究，例如进行NASA TLX等测评。

参考文献

该文章包括大量与XR交互、手势识别领域相关的参考文献（如基于压力传感器、超声波和摄像头的解决方案），也引用了多种数据增强和机器学习技术的研究成果，具体请见文末列出的[1]至[43]编号参考文献内容。