体积混合工作空间：远程和共置远程呈现中的对象交互

文献标题

Volumetric Hybrid Workspaces: Interactions with Objects in Remote and Co-located Telepresence

文献信息

• 主题领域: 人机交互、混合现实、远程协作
• 关键词: 增强现实, 混合现实, 体积捕捉, 远程协作, 部分分布式团队, 工作空间意识

研究背景与问题

• 问题或挑战:

  1. 传统远程存在技术常以屏幕为媒介（例如视频会议），限制了非语言沟通（如手势、指示）的表达。
  2. 现有远程协作技术通常缺乏对空间协调和多种格式对象（物理、虚拟、体积对象）的支持。
  3. 双向体积捕捉通常应用于双用户场景，缺乏对复杂、多用户场景的探索。

• 重要性:

  • 随着远程工作的普及，对能够支持自然交互、提高空间意识和非语言沟通的远程协作技术需求增加。
  • 突破传统混合现实技术的单一工作空间限制，将远程用户引入完全重构的共享虚拟环境，有助于增强协作效率和体验。

• 研究动机与相关工作:

  • 现有技术如Room2Room、Holoportation为远程协作提供了基础，但主要关注单一工作空间或虚拟化交互。
  • 本研究旨在探索一种支持多用户的混合现实平台，让远程和本地用户能够通过物理、体积和虚拟对象展开自然交互。

解决方案

• 方法或解决方案: 作者提出了一种基于混合现实的体积远程存在平台（Volumetric Hybrid Workspaces），可实时捕获并重构多用户的物理环境和对象。主要特性包括：

  • 实时双向通信: 利用物理对象和人类体积渲染创建共享工作空间。
  • 多格式对象分类: 支持物理对象、远程的体积渲染对象、纯虚拟对象交互。

• 创新之处:

  • 支持多用户实时双向交互，突破以往仅限于双人场景的局限。
  • 混合显示本地和远程用户的物理表现，营造出整合的共享空间体验。
  • 提供对不同类别对象（物理、体积、虚拟）的交互支持。

• 实施步骤与技术:

  1. 体积捕捉设备部署: 在两个物理空间内安装Azure Kinect摄像头用于实时环境捕捉。
  2. 数据流压缩与处理: 对捕捉的RGB-D数据进行压缩 (H.264编码和RVL算法) 等优化处理以支持低延迟传输。
  3. 用户呈现: 使用Microsoft Hololens 2，用户通过光学透视混合现实设备呈现本地和远程场景。
  4. 环境校准：采用CV方法建立两空间锚点，确保远程捕捉对象在共享空间中的正确位置对齐。

研究成果

• 具体成果:

  1. 成功开发了一个实时双向的体积混合现实工作空间，为用户提供自然且无缝的协作体验。
  2. 定义了三种对象格式（物理、体积、虚拟），并探索了用户在协作任务中的使用方式。
  3. 通过用户研究证明了系统能够支持空间协调、提高远程用户的参与感，并优化用于协作的非语言沟通方式。

• 优势:

  • 提升了传统屏幕媒介远程协作缺乏非语言沟通手段的局限。
  • 支持物理对象交互，能够与远程环境自然结合。
  • 双向捕捉提供了准确且视觉实时的用户渲染，增强了协作中的存在感。

• 实验与评估结果:

  • 18位参与者在6次实验中完成了7个任务，反馈系统增强了工作空间中的理解与协作。
  • 虚拟对象被认为可见性较高，但体积对象因视觉相似性常被误认为物理对象。
  • 通过写入物理卡片的任务增强了内容创建的心理所有权，并促进紧密耦合互动。

• 局限性与未来方向:

  • 局限性: 实验规模较小，仅限定于两个共享空间的情境；未充分利用虚拟内容的动态特性。
  • 未来方向:
    • 探索多空间非对称体积远程协作设计。
    • 添加虚拟内容动态生成的能力，例如虚拟化私人空间。
    • 扩展系统支持不相邻空间或结合不同用户表现形式（如虚拟化头像与体积头像）。