Objestures：日常物品与空中手势的 expressive 交互

文献标题

Objestures: Everyday Objects Meet Mid-Air Gestures for Expressive Interaction

出版信息

• 研究领域: 在混合现实中整合日常物体交互（EOIs）与空中手势交互（MAIs），以实现更具表现力和实用性的应用。
• 关键词: 混合现实、日常物体、空中手势、双手交互、交互设计、表现性交互、用户研究、设计空间、可触交互、空间操作。

背景与问题

• 问题 / 挑战: 现有关于整合日常物体交互（EOIs）和空中手势交互（MAIs）的研究通常集中于狭窄的使用场景或特定技术，缺乏对设计师和开发者具有普适性的指导。
• 重要性: EOIs 和 MAIs 的整合可以通过结合两者的互补特性（如物体的触觉反馈和空中手势的便利性）提升混合现实体验。
• 动机与相关工作: 之前的研究多是分别探讨 EOIs 和 MAIs，或在有限的组合中进行研究，通常受限于特定物体或技术。本论文旨在形式化一个统一这些交互模式的设计空间，以实现更广泛的适用性。

解决方案

• 提出的方法: Objestures——一个包含五种交互类型（Binary、Linear、Rotational、Nonlinear、Free）的框架，跨越 EOIs 和 MAIs，实现表现力丰富的单手和双手交互。
• 创新点:
  1. 提出了结合 EOIs 和 MAIs 的设计空间，并定义了五种交互类型。
  2. 通过原型系统实现并评估了 Objestures。
  3. 探索性用户研究表明其性能可与原生自由手操作相媲美。
  4. 案例研究展示了其在不同场景中的表现性应用。
• 实施步骤与关键技术:
  1. 基于物体的可供性和运动学约束定义五种交互类型。
  2. 使用模仿性手势将 EOIs 映射到相应的 MAIs。
  3. 通过用户研究（3D任务：缩放和旋转）和案例研究（音乐、绘画、影子探索）评估框架。
  4. 使用混合现实中的手部追踪和物体操作实现交互原型。

结果

• 具体发现:
  • 在缩放和旋转任务中，Objestures 的性能与原生自由手操作相当，且误差和运动量更低。
  • 参与者认为 Objestures 直观、有趣且富有表现力，并对其日常使用表现出兴趣。
  • 中位偏好排序显示，带有物理物体的 Objestures（Obj）优于纯虚拟交互（NObj）和原生自由手操作（Hands）。
• 相较基线的优势:
  • Obj 和 NObj 显著降低了误差和运动量，相较于 Hands。
  • Obj 由于物理锚定提供了更好的准确性和稳定性。
• 实验 / 评估:
  • 用户研究（N = 12），在近距离和远距离的缩放与旋转任务中比较三种方法（Hands、Obj、NObj）。
  • 三个应用场景的案例研究（Sound、Draw、Shadow），涵盖五种交互类型。
  • 评估指标包括误差、运动量、时间以及主观用户体验（NASA-TLX、UEQ-S）。
• 局限性与未来工作:
  • 样本量较小（N = 12），限制了结果的普适性。
  • 物理物体的限制（如运动范围、稳定性）和追踪技术的局限性（如遮挡、抖动）需要改进。
  • 未来研究可探索更大规模的评估、更多交互类型以及扩展至其他身体部位或交互模式。

总结

Objestures 将日常物体交互和空中手势交互整合为一个包含五种交互类型的统一框架，为混合现实应用提供了表现力和实用性。通过用户研究和案例研究，该框架展示了与原生自由手操作相当的性能，并在直观性和参与性方面获得了积极评价。Objestures 为设计师提供了一个结构化的设计空间，以探索和结合 EOIs 和 MAIs，填补了现有研究的空白。未来研究可扩展框架以包括更多交互类型、更大规模的用户研究以及其他交互模式。