ShadowTouch: 通过阴影投影实现手腕佩戴光源的自由形式触控手势交互

文献标题

ShadowTouch: Enabling Free-Form Touch-Based Hand-to-Surface Interaction with Wrist-Mounted Illuminant by Shadow Projection

文献信息

• 主题领域: 人机交互、计算机视觉、虚拟现实与增强现实触控技术
• 关键词: Touch detection, hand-to-surface interaction, computer vision, mixed reality, shadow projection, gesture recognition

研究背景与问题

• 问题或挑战:
  • 当前的手势识别与手部交互技术在虚拟现实环境中的近表面触控检测存在空间分辨率和时间分辨率的限制。
  • 商用手部追踪设备（如 Microsoft Hololens 2 和 Oculus Quest 2）难以准确区分手指的触碰与悬停状态，尤其是快速且微小的触碰动作。
  • 多种现有技术虽然试图解决触控问题（如惯性传感器、震动模式、光学传感等），但在灵活识别每个手指的触控状态方面表现不足。
• 重要性:
  • 在虚拟现实及增强现实环境中，物理表面触控是一种重要的交互形式，提供类似于触屏的直观操作和触觉反馈。
  • 准确识别手指近表面的触控状态有助于提高虚拟交互的精准度、用户体验以及扩展交互空间。
• 研究动机与相关工作:
  • 作者希望通过构建一种新型光学辅助方法，解决现有手部近表面触控检测的局限性。
  • 类似的研究，如通过震动信号识别触控事件或使用影像捕捉已经证明了视觉增强技术的潜力。

解决方案

• 提出的解决方案:
  • ShadowTouch: 一种基于视觉的创新触控检测技术，通过手腕安装的前向光源投射手指阴影实现。
  • 该技术通过放大手指的细微垂直动作，将其转换为计算机视觉算法可识别的阴影特征。
• 解决方案的创新之处:
  • 通过主动构建高质量的阴影特征，将手指近表面的小幅移动转化为光学可识别模式。
  • 实现了多手指触控状态检测，并且支持多点触控、滑动及手指角度等信息。
• 实施步骤与关键技术:
  1. 硬件设计:
     • 使用手腕安装的 LED 光源投射手指阴影。
     • 配备一个头戴式相机捕捉阴影画面，进一步处理和分类手指触控状态。
     • 采用高帧率（120FPS）相机确保触控过程的动态捕捉。
  2. 算法管道:
     • 第一步：手部关键点检测与手指区域定位，使用 Mediapipe 手部检测算法。
     • 第二步：触控状态分类。提出了基于 MobileNet V3 的轻量级神经网络，共同完成手指触控状态的高精度识别。
  3. 数据采集与标注:
     • 基于 Sensel Morph 触控板实时获取触控状态真值数据。
     • 提供了高质量标注数据集，支持跨用户测试。

研究成果

• 具体成果:
  • 性能指标:
    • 在跨用户评估中，触控状态检测算法达到 99.1% 的识别准确度和 96.8% 的 F-1 分数。
    • 相较现有技术，ShadowTouch 显著提升了触控状态检测的分辨率和计算有效性。
  • 应用开发:
    • 开发了4个原型开放应用：
      1. 虚拟桌面应用（导航器）支持鼠标式控制。
      2. 图像处理应用支持多点触控旋转、放大与平移。
      3. 绘画应用支持多手指同时使用不同画笔。
      4. 文本输入应用结合多手势实现光标控制与键输入。
  • 用户评价:
    • 在可用性评估中，用户认为 ShadowTouch 在触控精确性、易用性和整体使用意愿方面优于基于阈值的触控方法。
    • ShadowTouch 提供了贴合实体表面的高效触控体验，显著降低用户的挫败感和操作负担。
• 局限性与未来方向:
  • 局限性:
    • 光学阴影的效果依赖于表面材质，某些强反射或深色材质可能降低性能。
    • 部分情况下手指遮挡会导致触控状态识别的精度下降。
  • 未来方向:
    • 提高系统对不同表面和环境光条件的鲁棒性。
    • 扩展到双手交互设计，并结合不可见光源优化用户体验。
    • 进一步研究无规则表面的交互效果，如垂直表面和不规则几何表面。

结论

ShadowTouch 的研究成果展示了手部触控检测的新机会和方法。通过主动构建阴影特征，该系统显著提高了手指触控状态检测的精度，扩展了虚拟现实与增强现实中的交互空间，尤其在物理表面交互方面具有重要应用价值。这项研究为未来相关技术的发展奠定了理论与技术基础。