FaceSight：使用向下-facing相机视觉在AR眼镜上实现手到脸的手势交互

文献标题

FaceSight: Enabling Hand-to-Face Gesture Interaction on AR Glasses with a Downward-Facing Camera Vision

文献信息

• 主题领域: 增强现实（AR）、人机交互、手势识别
• 关键词: 手对脸手势、AR眼镜、计算机视觉、红外摄像技术、交互设计

研究背景与问题

• 发现的问题或挑战:

  • 现有手对脸手势交互技术主要依赖电信号或音频信号，仅支持简单或离散手势，无法识别丰富、连续的手势。
  • 目前的头戴式显示设备虽嵌入摄像头，但很少用于识别高级手对脸手势，未能充分发挥设备的潜力。

• 重要性:

  • 手对脸交互方式在增强现实交互中具有直观性和易用性，并能利用脸部触觉反馈支持高效、免视眼的操作。
  • AR眼镜集成各种传感器，这些设备具有识别复杂手势、增强交互体验的巨大潜力。

• 研究动机与相关工作:

  • 作者综述了现有的手对脸交互技术及头戴设备中的摄像头部署方法，提出需要一种能识别丰富手势且形式紧凑的传感解决方案。
  • 探讨过去使用电信号、音频信号或RGB摄像头进行手势识别的局限性，并引出对于红外摄像技术的新需求。

解决方案

• 方法与解决方案:

  • 提出“FaceSight”系统, 在AR眼镜的鼻梁处安装一个向下观看的红外摄像头，以捕捉用户脸部及手部行为。
  • 设计一个算法处理管道：包括脸部区域分割、手脸接触检测、手势分类以及连续输入参数计算（如鼻子变形估计）。

• 创新之处:

  • 利用独特的摄像头位置和红外光源设置提供高分辨率的脸部和手部图像，同时减少隐私问题和背景干扰。
  • 支持21种复杂的手对脸手势，其中10种为此前未描述的创意性手势。
  • 提供了一种适合AR眼镜的交互设计方案，该方案兼具紧凑性和社会可接受性。

• 实施步骤与关键技术:

  • 硬件设计: 使用宽角红外摄像头，并通过3D打印支架将摄像头固定。
  • 算法处理管道:
    • 利用图像亮度特征分割脸部区域（鼻子、嘴、脸颊等）和手部。
    • 检测手脸接触时，通过判断手指与脸部区域的重叠和运动变化来识别触碰。
    • 使用卷积神经网络（CNN）模型对手势类别进行分类，并进一步估计鼻子变形或手指移动轨迹。

研究成果

• 具体成果:

  • FaceSight实现了83.06%的总体手势分类精度，已验证其有效性。
  • 开发了适配21种手对脸手势的五个增强现实应用程序（包括主页、视频播放器、照片库、联系人和语音助手）。
  • 提出了多种交互技术，例如通过轻推鼻翼快进视频或覆盖嘴唇激活语音助手。

• 优势:

  • 与现有解决方案相比，FaceSight能够检测更复杂、更丰富的手势，交互形式更加紧凑。
  • 使用红外光源提供稳定的图像质量，并降低隐私问题。

• 实验或评估结果:

  • 手对脸触碰检测的召回率为97.90%，位置识别平均准确率为94.69%。
  • 手势分类平均准确率为96.42%，鼻子推挤压力分类精度达到94.12%。

• 局限性与未来方向:

  • 局限性:

    • 红外传感会受到环境中红外光干扰的影响，尤其是在室外环境中。
    • 当前手势集合是作者设计的，未来应进行跨文化用户调研以优化设计。
    • 计算机视觉算法在服务器上运行，需进一步研究轻量化算法以适配AR眼镜本地计算。

  • 未来方向:

    • 探索更具鲁棒性的算法以适应户外和复杂环境。
    • 融入面部表情识别或音频信号等多模态信息，提高接触检测性能。
    • 定制化手势与功能映射，满足不同用户的需求。

总结

FaceSight通过在AR眼镜上部署向下看的红外摄像头，提供了丰富的手对脸交互方式。该研究展示了FaceSight在增强现实交互中应用的潜力，并指出了未来改进的方向，奠定了手对脸手势交互技术的发展基础。