TriPad: 仅通过手部追踪在普通表面上进行AR触控输入

文献标题

TriPad: Touch Input in AR on Ordinary Surfaces with Hand Tracking Only

文献信息

• 主题领域: 增强现实（AR）中的触控交互技术
• 关键词: 增强现实, 触控输入, 被动表面, 间接输入, 手势识别, 耗能优化, 用户体验, 交互设计

研究背景与问题

• 问题与挑战:

  1. 当前的裸手中空交互（mid-air bare-hand input）在增强现实中缺乏触觉反馈，导致精度不足、用户疲劳和体验欠佳。
  2. 现有的触控方案（例如增强现实中的被动表面触控）需要环境或用户设备的额外仪器化，造成高复杂度或低适配性。
  3. 相比于强大的计算能力，增强现实眼镜通常具有有限的功率预算，这对算法的性能和能耗提出约束。

• 重要性: 通过有效利用无仪器化的普通表面实现触控输入，可带来更普遍适用、低能耗且高效的增强现实交互方式，并提升用户的舒适度和精准度。

• 研究动机与相关工作:

  • 之前的研究揭示了物理表面能够提升增广交互的精度和用户体验，但缺乏一种全面解决上述所有限制的技术。已有技术（如MRTouch、OmniTouch等）各自解决了部分问题，但仍然在多样性、仪器化需求、间接输入支持等方面有所局限。

解决方案

• 方法与核心技术: 作者提出了一种无需额外传感器或环境仪器化的增强现实触控技术——TriPad，它基于手部追踪数据和用户的显式手势交互完成触控平面定义和操作。

  1. 触控平面的创建: 用户将拇指、中指和小指贴附于目标表面并做出快速点击动作，系统通过手指三维定位数据生成触控平面。
  2. 输入模式:
     • 直接输入模式: 与虚拟界面对齐的直接交互。
     • 间接输入模式: 用户通过虚拟触控板控制指针位置，实现与远距离或非对齐内容的交互。
  3. 设备经济性: TriPad仅利用内置的手部追踪API和有限的几何计算，减少计算开销。

• 创新点:

  • 摆脱了环境仪器化，适配不同材质的普通表面（如玻璃、木质甚至干墙）。
  • 在能量受限设备（如AR眼镜）中运行无额外能耗，优化计算式功率。
  • 提供间接精确输入能力，这对于中远程交互特别重要。

研究成果

• 具体成果:

  1. 在两个用户实验中验证了TriPad的技术和用户体验：
     • 实验 1: 验证手势识别的技术可行性，得出超过95%的精准率（针对所有表面和事件类型）。
     • 实验 2: 比较间接输入与直接输入的性能，发现TriPad在减少疲劳和提高精度方面具有优势，尤其是在水平表面。
  2. 极大降低了触控创建误触的可能性，同时用户在多表面上（玻璃、木质、干墙）均能顺畅操作。

• 优势与对比:

  • 与直接输入（例如中空触控或光线投射点选）相比，间接输入模式能显著减少用户疲劳。
  • 水平TriPad的一系列交互性能优于垂直TriPad，以及部分场景优于传统直接输入方式。
  • 不依赖外部传感器的精确性可达成跨多表面的“广泛适用性”。

• 实验或评估细节:

  1. 实验1验证：
     • 误识别率低，仅1次误触（Phase 1）。
     • 实际触平面识别偏差在3.5°左右，通过对手部位置与虚拟平面的结合实现补偿。
  2. 实验2对比分析：
     • Pointing任务：在精确目标点选中，间接输入模式达到更好的速度-准确度平衡。
     • Pursuit任务：间接输入在远程目标追踪中表现优越，但在近距离持续拖动任务中略逊于直接触控。
  3. 问卷调查的综合得分表明，用户主观体验在舒适性和低疲劳方面对水平方向TriPad评分最高。

• 局限性与未来方向:

  • 局限性:
    • 对平面方向的支持主要集中在水平与垂直，未探索非典型方向或复杂几何表面。
    • 控制-显示增益（CD-gain）固定值的设计可能未完全优化。
    • 策略上忽略了对工业推荐目标大小强度和更广泛情境的模拟。
  • 未来工作:
    1. 增加对两手操作的支持，例如更大的平面或弯曲表面手势定义。
    2. 利用“闲置手指”增强表达力，扩展功能应用于更复杂的界面。
    3. 通过更深入的实验优化控制-显示增益和手势解释策略。