HoloBots：增强现实远程协作中移动机器人赋能的全息临场感

文献标题

HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality

文献信息

• 主题领域: 混合现实、远程协作、人机交互
• 关键词: 混合现实, 远程协作, 物理临场感, 移动机器人, 可操控物理用户界面 (Actuated Tangible UI)

研究背景与问题

• 发现的问题或挑战:

  • 当前的混合现实远程临场系统无法满足真实环境中复杂的可触控互动需求，例如握持、操控物体或物理协作。
  • 缺乏物理身体的表现削弱了虚拟用户的存在感。
  • 现有的机器人或物理呈现系统存在数量限制、扩展性问题，以及缺乏用户体验评估。

• 研究意义与重要性:

  • 丰富的远程物理互动（触摸、操控等）对增强协作体验尤为重要。
  • 技术突破可为用户提供更多共同参与的沉浸式远程协作场景。

• 研究动机与相关工作:

  • 当前技术如Holoportation和传统机器人远程临场系统虽然在视觉或空间上的互动有所提升，但缺乏对物理对象的操控。
  • 现有混合现实中的移动机器人（如PhyShare）的使用较少涉及全面设计空间探索及用户研究。

解决方案

• 提出的方法或解决方案:

  • HoloBots系统：结合全息远程呈现与桌面移动机器人，提供一种可触控、可操控的远程协作界面。
  • 核心技术：使用Hololens 2与Azure Kinect进行全息用户捕捉与渲染；通过Sony Toio机器人实现与物理环境的交互。

• 创新之处:

  • 首次全面探讨全息远程协作的设计空间，包括物体驱动、虚拟手体化、缩微场景互动、共享的虚拟物理用户界面、具身指导与触觉通信。
  • 在设计空间探讨的基础上开发具体应用，例如物理讲故事、远程游戏、手把手指导等。
  • 提供量化与质化用户研究，验证新系统在多种协作场景下的有效性。

• 实施步骤和关键技术:

  1. 系统架构:
     • 使用Azure Kinect RGB-D相机捕捉远程用户的身体动作。
     • 利用Hololens 2进行远程用户的全息渲染和手部追踪。
     • 使用Sony Toio机器人进行桌面移动与物理交互。
  2. 核心交互技术设计:
     • 物体驱动（Object Actuation）：远程用户操控本地对象移动和表达。
     • 共享可触用户界面（Shared Tangible UI）：本地与远程用户共同操控虚拟或物理UI。
     • 缩微身体互动（Miniature Body Interaction）：使用移动机器人表现远程用户的缩微化实体，与本地环境互动。
     • 触觉通信（Haptic Communication）：通过机器人提供触觉反馈，例如引导或通知。
  3. 用户体验优化：
     • 面向不同场景（水平/垂直表面）与应用需求（故事叙述、UI调整等）的多种机器人附加组件设计。
     • 多机器人同步传输，支持本地与远程环境的数据一致性。

研究成果

• 具体成果:

  • 初步实现了一套可部署的HoloBots系统，支持多种富有创新性的远程协作交互和场景展示。
  • 用户研究验证了该系统显著提升了远程混合现实协作中的临场感与共享体验。

• 实验与评估结果:

  • 社会存在感（Social Presence）:
    • HoloBots（同时采用全息与机器人）条件的社会存在感得分显著高于“仅全息”和“仅机器人”条件。
    • 用户认为，全息与机器人的结合使得远程用户的互动更真实和具有存在感。
  • 认知负荷与系统可用性:
    • 虽不同条件之间的认知负荷无显著差异，但HoloBots条件在系统可用性上得分更高。
  • 用户偏好:
    • 75%的用户偏好HoloBots全面结合的混合系统。

• 优势:

  • 创造了虚拟与物理的重要连接，用户能够同时利用虚拟视觉和物理对象进行实时互动。
  • 系统适用于不同表面和交流环境，展示了高度的灵活性和任务扩展性。

• 局限性与未来方向:

  • 存在机器人和全息用户动作同步延迟问题。
  • 噪声干扰，影响用户的沉浸感。
  • 当前实现仅支持双人协作，且机器人数量有限。
  • 建议引入更高效的机器人、更大规模的互动区域及多模态交互方式。

总结与未来

• 总结:

  • HoloBots通过全息与物理机器人交互显著增强了远程协作的质感与沉浸感。
  • 用户研究结果表明，与现有方法相比，该系统具有强大的应用前景，适用于故事叙述、物理游戏及高精准指导等场景。

• 未来工作方向:

  • 扩大交互区的规模，支持更大的物理场景。
  • 融合更多种类机器人和IoT设备，增强物理交互能力。
  • 探索多用户、多机器人协作场景下的系统动态表现。