Sketched Reality：基于AR与驱动式实体用户界面的双向素描交互

文献标题

Sketched Reality: Sketching Bi-Directional Interactions Between Virtual and Physical Worlds with AR and Actuated Tangible UI

文献信息

• 主题领域: 人机交互（HCI），增强现实（AR），可触摸用户界面（TUI）
• 关键词: 增强现实, 混合现实, 可动可触控界面, 群体用户界面, 交互设计

研究背景与问题

• 发现的问题或挑战: 在现有增强现实（AR）绘图工具中，物理世界对虚拟图形产生影响的交互是单向的，而虚拟对象（例如绘制的线条或形状）对物理环境没有相应的反作用力。

• 研究重要性: 现有的单向互动机制限制了虚拟与物理环境之间的高度耦合与协同。双向交互的实现将使AR不仅仅局限于视觉演示，还能通过反馈增强物理交互的真实性和参与感，应用场景包括教学、设计和娱乐。

• 研究动机与相关工作: 作者探讨了AR绘图和可动可触控界面的结合潜力。早期研究如Reactile尝试了有限的双向交互，但范围有限。这类研究表明双向整合存在巨大的设计空间，但缺乏系统化的探索与实现。

解决方案

• 方法概述: 提出一种称为“Sketched Reality”的新方法，结合基于iPad的AR绘图界面和小型机器人（Sony Toio）构建虚拟与物理世界双向互动的框架。

• 创新之处:

  1. 定义并实现了一个全面的双向交互设计空间，涵盖约束、几何关系、外力应用和动态碰撞等四大类别。
  2. 引入基于实时嵌入交互绘图和可动设备的双向物理模型。
  3. 提供实时可改动的虚拟图形和交互规则，实现免编程的自定义交互效果。

• 实施步骤与核心技术:

  1. 使用Sony Toio机器人作为小型物理可动界面，通过其内置摄像头和蓝牙通信完成精确追踪。
  2. 基于WebXR技术（主要用到A-Frame和8th Wall）构建动态AR画布，将虚拟图形与物理机器人的坐标同步。
  3. 通过物理与虚拟约束的完善机制（如几何关系锁定、弹簧等），操控虚拟图形和小型机器人实现双向驱动。

研究成果

• 具体成果:

  1. 实现了一个概念验证型系统，支持AR绘图直接影响物理机器人，同时机器人运动也影响虚拟对象。
  2. 总结了八种不同类型的虚拟-物理互动模式，展示了丰富的设计空间。

• 相比现有方法的优势:

  • 提供了一个前所未有的双向交互模型，打破了传统单向交互的局限性。
  • 支持用户即兴地结合AR和物理设备构建复杂交互模型，而无需预先编程。

• 实验或评估结果: 示范了一系列应用场景，包括物理教育、机械探索、游戏设计和现场机器人编程。

  • 物理教育: 通过构建类似于牛顿摆、Rube Goldberg机械装置等教学模型，儿童可互动学习物理知识。
  • 机械探索: 用户可设计和实验动态机械系统，例如通过控制机器人模拟活塞的力学运动。
  • 可触控游戏: 支持绘制弹弓小游戏或弹珠游戏，通过机器人实现增强的游戏体验。
  • 现场编程: 用户可通过Sketching定义机器人之间的交互规则，创造复杂程序化行为。

• 局限性与未来方向:

  1. 当前实现受到移动AR设备（如iPad）精度与沉浸度限制，未来可以结合头戴显示设备（HMD）或投影技术优化用户体验。
  2. 系统目前局限于桌面机器人，未来可扩展到更大规模的场景（例如家庭空间）或其他设备（如IoT）。
  3. 尚未进行正式用户研究，后续研究可能探索用户可用性、教育效果和沉浸体验的具体收益。