MechARspace：一个支持AR与玩具实时双向绑定的创作系统

文献标题

MechARspace: An Authoring System Enabling Bidirectional Binding of Augmented Reality with Toys in Real-time

文献信息

• 主题领域: 增强现实 (AR) 与玩具的交互设计与实现
• 关键词: 增强现实, 沉浸式创作, 示范编程, 模块化物联网工具包, 双向交互, 玩具增强, 视觉化编程, 人机交互

研究背景与问题

• 作者发现的问题或挑战:

  • 当前增强现实内容的创建主要由专业人员完成，技术门槛较高，限制了非专业用户的参与。
  • 现有工具大多关注单向交互（例如物理触发虚拟内容），缺乏统一框架实现玩具与 AR 的双向交互。
  • 传统开发工具（如 Unity3D）分离了编程和测试环境，导致开发过程耗时且复杂。

• 重要性:

  • 将 AR 技术应用于传统玩具有潜力显著增强其互动性和趣味性。
  • 赋能普通用户快速原型化个性化 AR 玩具可以激发创意并促进玩具设计的民主化。

• 研究动机与相关工作:

  • 当前 AR 和玩具的交互系统多为特定应用定制，难以支持普通用户的个性化玩具设计。
  • 虽然已有一些支持动态交互的沉浸式创作系统，但大多局限于单向内容增强。
  • 模块化 IoT 工具包可以简化物理玩具电子原型的过程，但与 AR 的结合尚需进一步探索。

解决方案

• 提出的解决方案:

  • MechARspace 是一个支持用户在沉浸式环境中通过直接操作和可视化编程创建玩具-AR 交互的系统，包括：
    • 双向物理-虚拟交互模型。
    • 即插即用的 IoT 工具包，用于为传统玩具增加 AR 兼容性。
    • 基于全息头显（Hololens 2）的实时场景创作界面。

• 创新之处:

  • 提出统一的双向物理-虚拟交互设计框架，涵盖从物理到虚拟、虚拟到物理的交互路径。
  • 开发模块化 IoT 工具包，实现快速集成和响应式双向交互。
  • 实现了基于示范编程和触发-动作可视化逻辑的用户界面设计，降低非专业用户的上手难度。

• 实施步骤与技术:

  1. 交互框架: 提出输入-输出分类模型，包括 4 种输入类型（如空间放置、操控）和 4 种输出类型（如局部运动、感官效果），以双向触发-动作逻辑连接。
  2. 工具包设计: 八个 IoT 模块（如旋转模块、按钮模块），内置传感器和网络功能，通过 MQTT 协议与 Hololens 通信。
  3. 创作界面: 提供导入模式（导入物理与虚拟内容）、编辑模式（定义输入/输出行为）、播放模式（测试交互）。所有数据通过用户示范操作录制并快速关联。
  4. 实现技术: 系统基于 Unity3D 开发，利用 Microsoft 混合现实工具包（MRTK）和 Vuforia 实现物理和虚拟场景同步。

研究成果

• 具体成果:

  • 实现了一个覆盖虚拟与物理对象的互动创作系统。
  • 展示了多个应用案例，包括故事玩具设计、日常物品玩具化、微型玩具增强、多人游戏等，验证了系统的通用性与可扩展性。

• 与现有解决方案相比的优势:

  • 提供了一个支持双向交互的统一设计框架，弥补现有单向交互的局限。
  • 通过 IoT 工具包和可视化界面显著降低了 AR 内容创作的技术门槛。

• 实验与评估结果:

  • 通过两轮用户研究评估了系统的易用性和效用：
    1. 第一轮任务测试中，用户完成 6 类交互，整体流程满意度较高（SUS 得分 83/100）。
    2. 第二轮开放创作环节中，参与者快速设计并实现了个性化 AR 玩具，反馈认为系统简化了创作流程并提升了创作乐趣。

• 局限性与未来方向:

  • 交互逻辑仅支持简单的触发-动作映射，未来可以扩展至更复杂的逻辑（例如条件触发、多任务并行）。
  • 当前的虚拟内容预先加载，需支持实时导入外部资源。
  • 玩具追踪依赖物理标记，容易受遮挡影响，未来需探索标记追踪融合或无标记技术。
  • IoT 模块体积较大，不适合小型玩具，未来可通过 CAD 插件优化硬件集成。

总结

MechARspace 提供了一种新的 AR 玩具交互创作范式，结合双向交互模型、模块化硬件和沉浸式可视化编程，进一步扩展了普通用户在 AR 应用设计中的可能性。这项研究为 HCI 领域探索下一代 AR 玩具创作工具提供了重要参考与启示。