Palmpad：使用单个RGB摄像头实现实时指尖到手掌触控交互

研究背景与问题

• 发现的问题与挑战：

  1. 在混合现实（MR）环境下，使用对手手掌进行交互（即食指点击对手手掌）是一种便捷的交互方式，但现有基于视觉的手势跟踪系统（特别是仅使用一个RGB相机的系统）在准确识别触摸状态方面表现欠佳。
  2. 当前MR设备（如Microsoft HoloLens 2和Meta Quest 2）尽管搭载深度相机或多摄像头，但在手指与手掌的深度估计上精度不足，难以区分食指触摸手掌和稍微悬浮于手掌的状态。
  3. 部分研究通过额外佩戴的设备或传感器解决了这一问题，但过多硬件可能增加用户的不适感。
  4. 手指点击手掌的动作，不仅需要识别是否触摸，还要求能够感应点击的力度、速度等动态信息，这是现有方法难以精准捕获的部分。

• 重要性：

  1. 准确的手指点击识别对于MR设备的触摸交互（如虚拟键盘输入或滑动操作）至关重要。
  2. 单摄像头方案能够降低硬件复杂性和成本，更适合轻量化MR设备。
  3. 触摸交互能够提供高效并随时可用的虚拟输入界面，增强用户体验。

• 研究动机与相关工作：

  1. 当前方案（如基于深度摄像头或多个摄像头的方法）尽管提供了较高的空间分辨率，但受限于设备硬件复杂性。
  2. 一些方案结合时间序列模型（如LSTM）或压力感测技术实现触摸识别，但效果未实现预期。
  3. 作者提出Palmpad，可解决现有视觉技术在轻量MR设备上的不足，通过单一RGB摄像头提供高效、实时的触摸检测。

解决方案

• 提出的方法与创新点：

  1. 提出利用单一RGB相机进行实时的食指点击手掌触摸状态检测的新方法，即Palmpad。
  2. 基于光流技术提取帧间运动信息，显著提升触摸状态判定的准确性。
  3. 结合卷积神经网络（CNN）进行触摸状态分类，采用光流、手掌局部特征、以及手指局部特征作为输入。

• 创新性：

  1. 首次将光流技术用于帧内变化的手掌触摸识别。
  2. 通过MediaPipe精确定位手掌和手指区域，减少计算负载和冗余处理。
  3. 实现比现有方案更优的触摸分类精度（97.0%）。
  4. 方法仅需单个RGB摄像头，与传统深度方案相比，硬件配置更轻量化。

• 实施步骤与关键技术：

  1. 数据采集与标注：
     • 通过使用高频AC电路实现触摸状态的自动标注，采集了包含食指点击和滑动数据的视频数据集（共211分钟）。
  2. 图像处理：
     • 利用MediaPipe手部关键点模型提取手掌和手指区域，并裁剪为固定尺寸输入。
     • 使用图像增强方法（如随机旋转和亮度调整）提升模型泛化能力。
  3. 特征提取与分类：
     • 静态特征：通过ResNet提取手掌整体特征和手指局部特征。
     • 动态特征：通过光流提取帧间运动信息。
     • 最终通过全连接层将所有特征输入分类器，区分触摸与非触摸状态。
  4. 实时系统实现：
     • 系统框架采用多进程实现，捕获实时摄像头数据、进行触摸状态检测，并通过Socket传输触摸数据到MR设备。

研究成果

• 具体成果：

  1. 使用Palmpad的触摸状态检测模型在leave-one-out实验中实现了97.0%的分类精度和96.1%的F1分数。
  2. 与LSTM基线模型相比，Palmpad显示了显著的时间信息提取能力优势。
  3. 在与现有商业化解决方案的比较中，Palmpad的准确性提升了2.8%，空间分辨率提高了50%。

• 系统优势：

  1. 与传统基于深度估计的MR手势跟踪相比，Palmpad具有更高的触摸状态分辨率和检测精度。
  2. 方法无需额外的硬件设备，便于集成到现有MR头盔中。

• 实验与评估：

  1. 算法性能评估：
     • Palmpad在不同帧率（如120fps至30fps）下依然表现稳定，并支持快速点击等高动态交互。
     • 通过模型消融实验，验证了光流和手掌裁剪处理对模型性能的关键作用。
  2. 用户体验研究：
     • 通过与现有方案对比，Palmpad在点击任务中减少了3.1%的时间，显著提高了用户接受度和信任度。
     • 主观问卷表明用户认为Palmpad更易用、延迟更低。

• 局限性与未来方向：

  1. 系统鲁棒性：
     • 极端手势（如指尖自遮挡）、光照条件差、以及高速度手指运动会影响系统稳定性。
     • 建议未来通过多个摄像头协作、主动光源、或手部标记来增强系统表现。
  2. 实现方案：
     • 当前硬件原型需要外部相机，理想情况下可以直接复用MR头盔自带的前置相机。
  3. 扩展应用：
     • 支持更多形式的手掌与手指交互（如多指操作）以及左手用户的镜像服务。
     • 设计更灵活的手掌虚拟界面映射，减少因手掌变形引起的误差。

通过Palmpad的研究与实现，这项工作拓展了单摄像头MR系统在触摸识别领域的边界，同时为未来更轻量化的MR设备设计提供了新方向。