ProInterAR: 一个用于创建沉浸式AR交互的可视化编程平台

文献标题

ProInterAR: A Visual Programming Platform for Creating Immersive AR Interactions

文献信息

• 主题领域: 增强现实 (Augmented Reality，AR) 应用开发、视觉编程、用户界面设计
• 关键词: AR内容, AR交互, 视觉编程, 增强现实, 用户界面, 平板与AR-HMD集成, AR应用原型设计

研究背景与问题

• 问题与挑战: 开发AR应用需要在真实与虚拟内容之间设计多样的交互，这对编程能力要求较高，特别是低编码经验的创作者在脚本编写、内容迁移、测试调试过程面临困难。
• 重要性: AR技术正广泛应用于娱乐、教育、医疗、工业等领域，突破开发门槛能降低技术壁垒，让更多初学者也能轻松设计交互复杂的AR应用。
• 相关工作: 现有AR工具往往局限于特定领域（如手势交互、玩具绑定）或仅支持虚拟内容的交互，无法兼顾真实与虚拟内容间复杂行为逻辑的编程需求。此外，许多工具仅支持桌面编程和虚拟场景的建立，使得开发过程与实际测试存在割裂。

解决方案

• 方法: 提出了一种名为 ProInterAR 的可视化编程平台，结合平板与AR-HMD设备，为低经验的AR开发者提供直观的交互编程环境。
• 创新点:
  • 支持通过平板设备的块状编程界面快速定义AR内容的交互行为。
  • 为真实与虚拟内容间的3D空间交互提供直接支持。
  • 提供便携集成的开发模式：从AR-HMD视角创建内容、在平板上编程、实时在AR场景中执行并测试。
  • 允许通过模块化的编程组件实现丰富的交互与条件逻辑，例如条件判断、循环嵌套、变量设置。
• 实施步骤及核心技术:
  1. 场景创建界面:
     • 通过HoloLens 2在AR场景中添加真实物体、虚拟内容及环境。
     • 提供便捷的内容创建功能，如手势识别、平面检测及3D网格选择。
  2. 可视化编程界面:
     • 在平板浏览器上运行，基于 Scratch 设计。主要模块包括运动(Motion)、外观(Looks)、控制(Control)、感知(Sensing)、变量(Variables)等九个类别。
     • 支持拖拽堆叠操作，结合事件触发机制建立独立或同步的交互行为。
  3. 执行与控制界面:
     • 用于运行程序并实时在AR场景中观察和操作。支持在AR-HMD和平板之间自由切换以实现动态调整。
  4. 通信架构:
     • 使用 WebSocket 建立平板与HoloLens间的实时通信，并通过服务器实现消息传递与数据同步。

研究成果

• 具体成果:
  • 提供了一种能快速设计和验证AR应用的高效编程工具，覆盖了多种使用场景，如AR游戏、教学、动画和信息可视化。
  • 在实验中展示了应用场景案例，如《3D打地鼠》、声效虚拟乐器、交互式物理课程及多步骤动画等。
• 优势分析:
  • 相比传统工具: 实现了即时反馈的沉浸式编程体验，避免了繁琐的内容迁移与桌面/AR设备之间的切换。
  • 相比现有AR工具: 支持更广泛的交互类型，包括真实与虚拟内容间的复杂逻辑和多样性场景。
• 实验与评估:
  • 用户研究1: 12名参与者创建了22个AR应用，涵盖娱乐与教育。结果表明，ProInterAR 对初学者具有低学习曲线，评分在易用性(如SUS调查)和体验满意度方面较高。
  • 用户研究2（长时间评价）: 两名不同背景用户（无编程经验与熟练开发者）在5天内分别完成了办公室AR助手和探险游戏项目。研究显示，用户在连续使用中熟练度显著提升。
• 局限与未来方向:
  • 不足:
    1. 交互逻辑复杂性增加时，调试和跨内容通信较为繁琐。
    2. 缺乏物理模拟（如重力）和丰富的环境上下文信息（如时间、天气）支持。
    3. 对自动移动的物理对象追踪能力有限。
  • 改进:
    • 增加调试工具与更直观的逻辑节点编程功能。
    • 提供预定义的组合式功能模块（如虚拟操纵杆）。
    • 集成更灵活的物理模拟和场景检测算法。
• 潜在应用:
  • 推广至教育领域，用于计算思维培养与创意编程教学。
  • 扩展至工业用途，例如物联网功能设计和交互式原型开发。

总结：ProInterAR 展现了高效的增强现实交互编程平台设计，其易用性和灵活性验证了其在多样领域中的应用潜力，为推动低技术门槛的AR应用开发提供了全新工具。