手部界面：在AR/VR中使用手部模仿物体以实现表达性交互

文献标题

Hand Interfaces: Using Hands to Imitate Objects in AR/VR for Expressive Interactions

文献信息

• 主题领域: 人机交互与增强现实/虚拟现实 (AR/VR)
• 关键词: AR/VR, 交互设计, 模仿, 体验化, 自由手交互, 躯体交互

研究背景与问题

• 发现问题或挑战: 传统AR/VR交互需要使用手持控制器，这种方式限制了动态和表达性强的交互场景。现有研究虽然尝试将手作为交互媒介，但主要聚焦于将手变为控制器或接触面，而忽视了人手的三维表达性。
• 研究重要性: 随着AR/VR技术广泛应用于教育、娱乐、医疗等领域，对支持自然且富有表现力的用户交互方式需求迫切，而模拟真实物体进行交互能够兼具趣味性和实用性。
• 研究动机与相关工作: 从现有文献分析表明，尽管已有研究实现了控制器自由手势交互，但缺乏探索如何充分利用人手的三维结构来主导AR/VR交互。研究从现实中如“石头剪刀布”游戏中汲取灵感，将人手用于模仿虚拟物品以完成交互任务。

解决方案

• 提出的解决方案:

  • 提出一种新的交互技术——“Hand Interfaces”，用户可以通过使用手来模仿真实物品完成交互任务，该方法允许人手与物体的动态绑定。
  • 研究通过设计28种“手界面”以证明其在对象检索和互动控制任务中的适用性。

• 创新点:

  • 创造性地转化用户的手部动作，使其能够模拟各种三维虚拟物品，如手指模仿摇杆或开关，从而实现更加直观、自发、高效的交互方式。
  • 避免了单一抓握动作可能导致的模糊性，通过设计特定的手势对应复杂物体，提高精确性和表达性。

• 实施步骤与关键技术:

  1. 设计阶段: 绘制丰富的交互设计空间，结合手姿势的形态相似性、运动相似性、舒适性与社会文化接受度进行迭代优化。
  2. 实现阶段: 基于Oculus Quest的手部追踪功能开发手势识别算法，包括手势模板匹配与关键点加权敏感度矩阵。
  3. 评估阶段: 通过28种手界面的实现，对比传统界面设计和现有自由手交互技术，对其交互效果开展用户研究。

研究成果

• 具体成果:

  • 设计28种Hand Interfaces，涵盖娱乐、教育和普适计算领域的多种应用场景。
  • 开发了开放源码的实现工具包，为未来的设计提供技术支持。
  • 通过实验验证用户在对象检索任务和互动控制任务中的可行性和创新性。

• 优势对比:

  • 在交互的真实感、自由度和表达性方面，Hand Interfaces相比传统下拉菜单或虚拟抓握技术表现出显著优势。
  • 提供自然的触觉反馈与身体感知（proprioception），优化用户体验的精确性。

• 实验或评估结果:

  • 两项用户研究分别探索了其对象检索与交互控制能力，综合收集了17名参与者对五项指标（真实性、行动自由度、迅捷性、舒适度与记忆容易性）的评分。
  • 对象检索实验表明，用户认为以手势模仿物品的技术更具真实性和趣味性。交互控制研究支持其在动态交互中的表现优异。

• 局限性与未来方向:

  • 局限性: 检测系统对手部遮挡敏感，同时对于过小或过大的虚拟物体表现不足；过多或过于相似的手势设计可能影响记忆与使用体验。
  • 未来方向:
    1. 研究自动化敏感度矩阵生成算法以适应复杂交互。
    2. 探索模仿与体验化结合，例如通过调整对象的形态或实施视觉变化来增强沉浸感。
    3. 扩展手部交互设计的表达空间，如加入动画或扩展手势库支持用户定制化。

这项研究清晰提出了一种新颖的交互模式，既丰富了AR/VR应用设计的可能性，也为后续技术发展提供了良好的实验数据与开放资源。