体积混合现实远程存在用于实时跨模式协作

文献标题

Volumetric Mixed Reality Telepresence for Real-time Cross Modality Collaboration

文献信息

• 主题领域: 混合现实 (Mixed Reality) 技术及远程协作
• 关键词: 扩展现实, 增强现实, 虚拟现实, 体积捕捉, 远程呈现, 头像, 协作, 会话基础

研究背景与问题

• 问题与挑战:

  • 大多数当前的远程呈现系统只能支持两名用户，同时缺乏对多用户环境中的跨模态协作的研究。
  • 对体积捕捉的低保真呈现如何影响用户体验？当前文献支持高保真，但低保真可能也具备有效性。

• 重要性:

  • 跨模态混合现实增强了远程协作的沉浸感和真实感。
  • 混合现实远程呈现可促进在现实工作场景中的应用，从而更有效地支持例如教学场景下的团队合作。

• 研究动机与相关工作:

  • 受到现有体积捕捉技术（如 Holoportation）的启发，作者设计了一种更适合消费级硬件的解决方案，以降低成本和提高适用性。
  • 作者提出了一种技术平台，强调实时性、易部署性和对多用户支持的能力。

解决方案

• 方法与创新:

  • 作者提出了一个名为 Virtual Co-Presence (VCP) 的混合现实系统，该系统通过体积呈现和全身虚拟人物头像支持多用户实时协作。
  • 创新点包括：
    1. 支持全模式跨模态协作（结合物理环境、增强现实和虚拟现实）。
    2. 没有对环境的特殊需求（如绿幕），易于配置。
    3. 采用体积捕捉技术优化数据传输，降低带宽使用。

• 实施步骤与技术:

  • 使用 Azure Kinect 深度摄像头阵列进行体积数据捕捉，结合 Unity 和 Microsoft Hololens 提供跨模态支持。
  • 通过优化的网络协议 (eNet, LZ4 压缩)，实现低延迟的实时数据传输。
  • 系统支持用户以体积呈现或 3D 虚拟头像进行通信和互动，整合空间音频以增强感知深度。

研究成果

• 具体成果:

  • 成功开发并实施了 VCP 系统，支持跨模态的远程协作。
  • 在真实的教学情境中完成系统评估，验证了其在共享工作区意识、共同存在感以及跨模态空间距离上的有效性。

• 优势与对比:

  • 与现有技术相比，VCP 提供更灵活、易部署的多用户体积捕捉解决方案。
  • 支持多用户异地协作并能够适应动态环境，无需昂贵的硬件。

• 实验与评估结果:

  • 实验设计采用了真实训练场景（工具使用培训），发现：
    • 本地用户与远程用户的协作存在较显著的体验差异（远程用户更感知到“存在感”）。
    • 全身体积呈现有效地传递了个人空间的非语言交流特征。
    • 用户对不同类型头像（例如 360° 体积捕捉）和通信方式表达了多样化的偏好。

• 局限性与未来发展方向:

  • 当前系统在视觉呈现的细节保真度和摄像头覆盖范围上存在不足，后期迭代需改进。
  • 未来计划探索双向体积呈现技术，使远程和本地用户均可体验到体积场景。
  • 更好地支持空间意识，包括为本地用户提供远程用户位置的视觉/声音反馈。

总结

该研究开发了一种经济实用且具创新的混合现实体积呈现系统，通过用户研究展示其在动态环境中支持跨模态、远程协作的潜力，同时指出其设计中的局限性及未来优化方向。