T2IRay：基于拇指到食指的间接指向设计，用于连续和稳健的AR/VR输入

研究背景与问题

• 发现的问题或挑战:

  • 现有的微手势交互主要侧重于离散输入，难以支持连续交互模式。
  • 当前AR/VR中常用的基于自由手的指向输入，需要用户的整只手在摄像头的视野范围内，这会导致身体疲劳和交互灵活性不足。
  • 微手势交互中，现有方法提供的控制自由度(如1-DOF或简单轨迹绘制)不足以实现真正连续性的指向操作。

• 重要性:

  • AR/VR领域需要自然且无缝的交互方式，基于拇指到食指（T2I）的微手势交互有潜力成为一种高效的解决方案。
  • 改进现有的微手势交互可显著提升用户体验，减少疲劳，增加输入的准确性和灵活性。

• 研究动机与相关工作:

  • 基于拇指到食指的微手势已经在几个领域中展示了其潜能，例如用于输入的轻触或滑动手势。然而，这些研究大多数仅限于离散交互。
  • 间接输入方法在减轻手部疲劳和提高精细运动控制方面存在优势，但当前方法仍然需要使用固定交互平面，缺乏灵活性。
  • 通过结合头部运动和拇指到食指动态，具有探索高自由度交互的潜力。这促使作者设计了T2IRay系统。

解决方案

• 提出的方法或解决方案:

  • 提出了一种新的间接指向技术——T2IRay，利用拇指与食指的关系作为局部坐标系统，实现基于微手势的连续输入，并结合头部运动以扩展交互空间。
  • T2IRay包括连续追踪和选择机制，设计关注以下目标：
    1. 提供精细且柔和的运动控制。
    2. 提供熟悉的输入隐喻，使用户快速上手。
    3. 支持用户在无需直视的情况下实现高可控性。

• 创新之处:

  1. 将T2I微手势扩展到全连续的输入，并提出了一种基于局部坐标的映射方法。
  2. 融合头部方向和微手势，提供结合上下文的指向操控。
  3. 系统性地研究了微手势在AR/VR中的3D交互特性，包括深度、幅度和映射方法等。

• 实施步骤与技术:

  1. 局部坐标系统: 通过食指和拇指的关键关节构建局部坐标平面，定义出拇指的运动范围。
  2. 指向映射:
     • 使用四种映射方法（线性、逻辑、二次、插值），并通过Fitts’ Law研究验证其效果。
     • 将拇指位置映射到2米范围内的虚拟平面上，用于光标控制。
  3. 头部参与: 系统结合头部方向与用户手指控制，实现更加自然的3D输入。
  4. 选择机制（Thumb-Click）设计:
     • 探索两种行为模式（拇指接触食指表面和悬空）下点击的动力学特性。

研究成果

• 具体成果:

  • T2IRay首次实现了基于T2I微手势的连续输入，并通过严格的用户研究验证了其性能。
  • 指向评估: Logistic函数的性能优于其他映射方法，具有较高的速度和精度。
  • 点击性能分析:
    • 拇指点击行为在"触肤"模式下展示出更大的稳定性、更精确的控制和更一致的速度特性。
    • 在某些方向和位置，用力程度和点击行为会有所差异，这表明需要区域敏感性设置以优化系统响应。

• 与现有解决方案相比的优势:

  • 相比直接输入技术（如手部射线光标），T2IRay在减少手臂疲劳和实现高分辨率输入方面表现更佳。
  • 提供了灵活的3D交互方式，扩展了传统离散微手势的局限性。

• 实验或评估结果:

  1. 实验基于Fitts’ Law验证了系统在不同映射方法和距离情况下的性能：
     • Logistic映射在速度和准确性之间取得了较好的平衡。
     • 深度的变化对总完成时间的影响较小，但对手势精细度有一定影响。
  2. T2IRay的运动展示了对上、下、对角方向精度的独特挑战，进一步强化了动态调整的必要性。
  3. 点选实验揭示了两种点击行为模式下的显著差异，为优化交互参数提供了数据支持。

• 局限性与未来方向:

  1. 局限性:
     • 目前尚未实现直接与其他传统方法的标准化对比。
     • 用户研究主要在坐姿下进行，未充分考虑动态场景或不同用户群体（手大小和灵活性等）的影响。
     • 当前以点击为主的选择方式可能受硬件精度限制。
  2. 未来方向:
     • 引入头部和手势结合的广泛探索，提升多模态交互效率。
     • 开发深度适应性和实时稳定机制（如减抖算法）。
     • 扩展至更复杂的场景，如动态走动场景、多任务环境等。

总结

T2IRay展示了一项创新的基于T2I微手势的间接指向输入技术，为AR/VR交互提供了一种连续、稳定且用户友好的解决方案。通过系统性实验，该研究验证了T2IRay的可行性和潜力，并提供了设计方面的深刻指导。不过，依然有必要进一步探索与其他输入方法的对比和更多应用场景的适应性，以实现真正广泛的应用。