结构光散斑：基于远距离振动测量的联合自我中心深度估计与低延迟接触检测

文献标题

Structured Light Speckle: Joint egocentric depth estimation and low-latency contact detection via remote vibrometry

文献信息

• 主题领域: 虚拟现实（VR）和混合现实（MR）的触觉交互与深度检测技术
• 关键词: 虚拟现实, 混合现实, 增强现实, 触觉感应, 激光振动测量, 表面重建, 结构化光

研究背景与问题

• 发现的问题与挑战:

  1. 当前头戴式设备中用于手部追踪的技术难以准确检测快速的触摸事件，尤其是在用户使用未设置感应设备的物理表面时。
  2. 现有解决方案通常需要额外的传感器或复杂的系统集成，增加了设备成本和复杂性。
  3. 在动态和移动的场景中，利用中心化视角检测表面触摸困难重重。

• 重要性: 通过利用现有VR设备上的传感能力直接检测物理接触，可以增强用户在虚拟环境中的沉浸感与交互效率，减少用户疲劳，并提升互动体验的流畅性。

• 研究动机: 借助光学技术（例如结构化光和激光散斑）实现触摸检测，以减少对额外硬件的需求，同时提高触摸输入的精度和延迟性能。

• 相关工作:

  1. 手势追踪与物理表面交互研究（例如利用深度摄像机、红外线等技术）。
  2. 利用激光散斑（Laser Speckle）和遥测测振技术检测表面振动和物理接触。
  3. 对当前基于深度的感应技术存在的一些问题，如噪声高、精度低和延迟较大等进行了探讨。

解决方案

• 方法与创新:

  1. 提出了一种名为“结构化光散斑” (Structured Light Speckle) 的新方法，融合了激光结构化光的深度估计和激光散斑运动的振动检测。
  2. 利用散斑成像技术实现远程振动测量（Remote Vibrometry），能够在动态条件下可靠地检测触摸事件。
  3. 设计了集成系统“TapLight”，将两种技术整合到一个便携、可安装在头戴显示设备上的单一设备中。

• 实施步骤与关键技术:

  1. 深度估计（Depth Estimation）:

     • 使用结构化激光光源（如衍射格栅产生的光点网格）生成深度估计。
     • 提取激光反射点，利用相机与激光发射器之间的视差计算稀疏深度图。
     • 通过对深度点拟合生成物理表面的平面模型。

  2. 触摸检测（Contact Detection）:

     • 使用摄像机捕捉激光散斑的动态变化，提取表面振动信号。
     • 检测散斑模式的粗糙度信号变化，识别触摸事件。
     • 结合头显提供的手部位置和速度信息，验证触摸事件的真实性并确定触摸位置。

  3. 系统集成:

     • 将上述感应模块与VR渲染场景集成，通过实时数据交互提供低延迟的触摸输入。

研究成果

• 具体成果:

  1. TapLight可以在动态环境下实现表面发现和触摸检测，触摸事件的整体F1得分为 0.953，延迟平均为50.4毫秒。
  2. 系统在1米范围内对平面检测的深度误差为22 mm（水平表面）至45 mm（垂直表面），表面法向角度误差为2.8°（水平表面）。

• 与现有解决方案的比较:

  1. 与传统深度摄像机和基于惯性传感器的解决方案相比，TapLight提供了更低的延迟（50.4 ms），高于Hololens或Dante多模态传感系统（通常>200 ms）。
  2. 该系统无需额外的可穿戴硬件，简化了设备配置，同时操作灵活，可在运动条件下运行。

• 实验或评估结果:

  1. 深度估计实验中，系统能够以较高的精度重建不同材质的表面。
  2. 触摸检测实验中，对多个表面材料（例如木材、塑料、纸板）的检测表现稳定。
  3. 系统在约1米范围内信号衰减较小，适用于用户交互距离内的场景。

• 局限性与未来方向:

  1. 局限性:

     • 当前使用了可见光激光，可能对多用户应用场景有一定限制，建议未来转为红外光源。
     • 光栅分辨率的限制使深度估计较为稀疏，可能在复杂表面检测中产生瓶颈。
     • 系统暂时局限于检测食指触摸，未扩展到多手指或复杂手势检测。
     • 目前应用场景大多为坐姿，未充分验证在用户站立或行走状态下的表现。

  2. 未来方向:

     • 探索更高分辨率的激光光学系统，以提高深度感知的精度和密度。
     • 将系统扩展到更广泛的动态场景中，例如动态交互或室外环境。
     • 进一步研究如何捕获触摸力度、形状等复杂触觉特征。
     • 集成机器学习算法以支持更丰富的输入模式和事件分类。