Ubi Edge：在增强现实中创作基于边缘的机会性实物用户界面

文献标题

Ubi Edge: Authoring Edge-Based Opportunistic Tangible User Interfaces in Augmented Reality

文献信息

• 主题领域: 增强现实技术中的可触摸用户界面（TUI）设计与实现
• 关键词: Tangible User Interface, Augmented Reality, 端到端程序设计, 交互设计, 可视化编程, 图像及物体检测, 用户研究, 系统评价, 物联网（IoT）, 边界检测

研究背景与问题

• 发现的问题或挑战:

  • 目前基于物理对象的可触摸用户界面（TUI）的应用局限于严格的物理解构与数字功能之间的匹配。
  • 使用预定义的TUI缺乏通用性和可扩展性，难以适应多样化用户需求。
  • 一些检测和交互方法存在对物理对象功能的侵入性影响，或者需要标记物体。
  • 传统的TUI输入通常难以无干扰地与日常物体的局部几何特性对接，尤其是边缘检测和交互控制方面。

• 重要性:

  • 边缘广泛存在于日常物品上，提供明确的触觉反馈和高效的计算机视觉特性，提高了TUI设计的灵活性。
  • 探索利用边缘作为可触摸交互界面有助于提升增强现实（AR）在智能家居、游戏、教学等场景的实用性。

• 研究动机与相关工作:

  • 本研究引入“Ubi Edge”，一个创新AR系统，用于将边缘定制为数字服务的交互输入，并通过无标记的高效边缘检测和交互追踪实现较高的使用灵活性。
  • 提到了对当前TUI研究的拓展，包括基于局部几何特性的交互方式：利用边缘作为直线、滑块或按钮赋予多样化用户控制。

解决方案

• 方法或解决方案:

  • 设计了一个集成的AR头显设备（AR-HMD），结合激光雷达和RGB-D视觉检测技术。
  • 开发了一个集成的边缘检测与跟踪管道，包括高精度RGB-D边缘检测算法、轻量化神经网络分离前景与背景、6DoF对象姿态估计以及基于边缘的迭代最优点匹配（ICP）。
  • 引入了基于触摸演示的“编程-行动触发”模型，支持用户灵活地选择和定制边缘交互。
  • 提供沉浸式AR用户界面，使得用户能够直观地创建、编辑和调整边缘交互功能。

• 创新之处:

  • 提出一种端到端的作者工具，使用户能够通过滑动或点按物理对象的边缘来定制TUI输入。
  • 集成的AR-HMD支持无标记实时边缘检测和交互跟踪，避免了现存的侵入性方法。
  • 使用边缘作为滑块、按钮以及连续交互的控制输入，使得TUI可扩展性显著提高。

• 实施步骤与关键技术:

  1. 边缘注册：通过激光雷达摄像头捕捉物体的RGB-D图像并检测几何边缘。
  2. 边缘匹配：实时跟踪物体的6DoF姿态并进行ICP匹配确保边缘位置的准确性。
  3. 输入输出模型：通过触摸定义离散或连续的输入边缘与数字行为之间的映射关系。
  4. TUI创建：用户在AR界面中将边缘连接至预设的数字行为，通过视觉编程完成定制。

研究成果

• 具体成果:

  • 成功开发出一个完整的系统，能够检测物体边缘并支持用户通过触摸自定义增强现实交互界面。
  • 提供了一种高效的边缘交互模式，包括滑动、单击等基本操作。
  • 展现了“Ubi Edge”在多种应用场景中的潜力，例如智能家居控制、游戏、教程等。

• 与现有解决方案相比的优势:

  • 避免了对物体的侵入性标记，支持无标记实时检测和交互。
  • 集成了光滑的边缘选择和用户友好的触摸定义方法，使得TUI设计更加直观。
  • 提供广泛的行为选择组合，支持复杂的数字内容控制。

• 实验或评估结果:

  • 在边缘检测精度测试中取得了优越表现，F1得分较高（例如对于45°角的边缘，F1得分=0.88）。
  • 用户研究数据表明，93.57%的触摸操作能够成功被检测；使用连续边缘完成目标任务的平均时间为17.59秒。
  • 用户评价系统易用性（SUS）得分为87.86/100，显示出广泛的用户接受度。

• 局限性与未来方向:

  • 系统对透明材料或对称物体的边缘检测能力较弱。
  • 在复杂环境中，边缘可能被遮挡或超出视野范围，导致检测失败。
  • 在移动便携性和轻量化设备方面仍需改进。
  • 作者化行为逻辑需要进一步增强，例如支持条件触发和序列连接。