可教学的现实：通过互动机器教学利用日常物体原型化具象增强现实

文献标题

Teachable Reality: Prototyping Tangible Augmented Reality with Everyday Objects by Leveraging Interactive Machine Teaching

文献信息

• 主题领域: 增强现实 (AR)、交互设计、机器学习与原型设计
• 关键词: 增强现实, 混合现实, 原型设计工具, 触觉交互, 日常物品, 交互式机器教学, 人机交互, 人工智能

研究背景与问题

• 发现问题或挑战:

  • 现有的AR原型设计工具缺乏支持功能性触觉AR应用的能力，尤其是对日常物品和真实世界交互的集成。
  • 标记型追踪方法灵活性有限，不适用于复杂的交互需求（如物体变形、身体动作等）。
  • 自定义机器学习模型虽然灵活，但要求高度专业技能和耗时长。
  • 缺乏有效集成计算机视觉与增强现实的工具。
  • 原型设计过程中，现有工作流程需要大量编程及硬件设备，降低了快速迭代的便利性。

• 重要性:

  • 流线化功能性AR应用的快速原型设计，可激发创意并促进团队之间的有效沟通。

• 研究动机与相关工作:

  • 作者受限于当前原型设计方式的复杂流程，希望突破这一限制，提出一种交互友好的工具，降低技术门槛，提高迭代效率。
  • 文献总结了现有AR原型设计工具包括低保真和高保真的技术缺口，强调触觉AR应用的重要性并提出以用户演示定义交互的愿景。

解决方案

• 提出的解决方法:

  • Teachable Reality 是一种移动端的AR原型工具，它结合了交互式机器教学和场景内AR创作。
  • 它允许用户以日常物品为输入，通过捕捉视觉数据并实时构建机器学习模型来定义交互方式。
  • 工具集成“触发-动作”界面来绑定用户定义的交互状态与AR场景。

• 创新点:

  • 应用交互式机器教学技术，支持用户实时定义AR原型交互，避免编程环节。
  • 提供从检测交互到训练模型，再到部署和实时测试的端到端解决方案。
  • 结合物理-虚拟交互的动态场景动画，从而实现针对物体变形、手势和其他上下文驱动的灵活交互。

• 实施步骤主要技术:

  1. 交互检测: 使用基于移动端的计算机视觉模型捕捉用户演示的交互状态。
  2. 场景创作: 用户通过直接操作设置AR虚拟内容的位置、大小和行为。
  3. 实时测试与部署: 利用存储的状态场景能够动态检测并自动过渡特定内容，支持快速迭代。

研究成果

• 具体成果:

  • 提出了支持实时交互检测、无编程创作及场景部署的AR原型设计框架。
  • 展示了多种应用场景，包括触觉与可变形界面、上下文感知助手、体感驱动的AR体验等。
  • 在用户研究和专家访谈中证实了工具对降低功能性AR原型设计门槛的有效性。

• 与现有解决方案的优势:

  • 相比标记型方法更灵活且没有打印标记的限制。
  • 与机器学习方法相比，Teachable Reality显著降低了编程与硬件成本。
  • 支持更多样化的交互输入（外观、位置、关系等）和输出（3D对象、音效、动画）。

• 实验或评估结果:

  • 可用性研究：13名参与者平均耗时163秒完成原型创建任务，认同系统降低了非技术用户的创作壁垒。
  • 专家访谈：专家认可其快速、直观的工作流程及广泛的灵活性，认为工具可作为现有方法的补充。

• 局限性与未来方向:

  • 局限性：
    • 依赖计算机视觉模型的输入检测，在复杂环境中准确性受限。
    • 目前的对象跟踪方法色彩依赖较强，难以适应场景复杂性。
  • 未来方向：
    • 提高检测算法的鲁棒性，探索深度摄像头等多模态输入。
    • 引入复杂叙述结构（如状态机或多分支逻辑）。
    • 为设计者提供可解释的AI界面以优化模型训练体验。