ProObjAR: 使用AR-HMD 原型设计空间感知的智能对象交互

文献标题

ProObjAR: Prototyping Spatially-aware Interactions of Smart Objects with AR-HMD

文献信息

• 主题领域: 人机交互、增强现实技术、空间交互设计
• 关键词: 空间交互，智能对象，AR原型设计，增强现实，交互设计工具

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 随着科技发展，智能对象的交互模式逐渐超越传统数字屏幕，并纳入空间交互的元素。然而，对智能对象进行空间交互设计的早期阶段原型设计存在挑战，包括对复杂场景的适应性差、缺乏一体化工具，以及技术门槛过高。
  • 传统原型设计方法，例如视频演示或物理模型，难以全面呈现动态和交互性特点，而基于编码的设计方式又使非技术设计师难以快速入门。

• 为什么这个问题很重要？

  • 随着智能生态系统的普及，空间交互逐渐应用于设备间的信息交换和控制功能等多场景设计，这种交互模式是提升数字内容与物理设施交互效率的重要环节。
  • 提高原型设计效率能够帮助设计师快速验证概念，促进创新设计的落地。

• 研究动机与相关工作

  • 动机：解决现有设计工具无法满足空间交互的需求，并通过AR设备提供简便的、面向多场景设计的一体化解决方案。
  • 相关工作：研究涵盖了AR/VR中的交互工具开发、物联网交互设计以及视觉编程接口的应用，但大多集中于虚拟对象或静态对象交互，对动态空间行为的研究仍有不足。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一种名为ProObjAR的全新原型设计系统，通过AR头戴式显示设备（AR-HMD）支持智能对象的空间交互设计。
  • 该系统以输入-输出事件触发工作流为框架，支持对智能对象空间事件（输入）、虚拟效果（输出）及其关系的定义和测试，同时利用视觉编程界面降低学习和操作门槛。

• 该解决方案的创新之处是什么？

  • 引入以真实对象操作为核心的空间交互设计模型，结合AR技术实现原型设计的实时互动与可视化。
  • 提供基于逻辑操作符（如“且”、“或”、“非”）的多种空间事件分类，以及多样化的虚拟反馈效果，从而覆盖单对象和多对象的复杂空间交互场景。
  • 避免对重编码和固定硬件的依赖，通过实时获取对象的6自由度位姿（位置和方向），允许设计师在真实场景中直接设计和测试交互模式。

• 实施步骤是什么？使用了哪些关键技术？

  1. 获取空间信息: 使用基于AR标记的追踪技术实时确定对象的位姿。
  2. 定义输入事件: 创建单对象或多对象的离散事件、同步事件和渐变事件，例如位置变化、朝向变化等。
  3. 定义输出效果: 利用系统提供的资产库或自由草图功能，定义虚拟反馈效果，包括出现、消失、同步运动等。
  4. 建立事件-效果映射: 在视觉编程界面中拖拽连接线，指定输入事件与输出效果的触发关系。
  5. 测试原型结果: 通过真实对象操作触发交互，实时观察效果验证设计的合理性和自然性。

研究成果

• 取得了哪些具体成果？

  • ProObjAR系统显著降低了空间交互原型设计的设计门槛，用户能够快速学习并高效完成复杂场景的互动设计。
  • 用户能自由定义和测试空间交互模式，且该系统支持室内和室外等多种场景下的实时原型设计。

• 与现有解决方案相比，它有哪些优势？

  • 支持真实对象操作而非完全虚拟设计，兼顾真实场景中的空间关系和交互体验。
  • 在编码门槛、复杂场景适应性、大规模事件类型支持等方面均优于现有AR/VR设计工具。

• 实验或评估结果是什么？

  • 在初步可用性研究中，共有8名参与者使用ProObjAR创建了21个室内外原型设计结果，涵盖设备控制、信息交换、健康管理等多种场景。
  • 用户平均能够在约2-8分钟内完成单个设计的创建与测试，且该过程中用户满意度较高，认为系统直观且易用。

• 局限性与未来方向

  • 局限性:
    • 支持的空间事件类型仍存在不足，例如用户自定义复杂空间区域或非均匀运动事件的能力有限。
    • 对光反射表面和遮挡环境下的物体追踪性能较低。
    • 当前仅支持单用户设计，未实现多用户协同原型功能。
  • 未来工作:
    • 扩展空间事件分类，为设计师提供自定义的区域及角度交互定义。
    • 加强标记识别算法，提高复杂环境中的追踪精度。
    • 实现虚拟对象的混合设计，并加入实时协同设计功能以支持团队合作。
    • 招募更多样本进行深入研究，包含非专业用户和行业内设计师。