GaussianNexus：使用高斯溅射的实时房间尺度 AR/VR 远程呈现

DOI

带有 AR/VR 的远程呈现系统将远程用户沉浸在本地的物理环境中，实现虚拟旅行、远程指导和协作设计。当代系统通常依赖 360° 视频或 RGB-D 重建——每种方法都在视觉保真度和空间感知之间存在权衡。新兴的渲染技术（如高斯溅射）统一了这些优势，提供照片级真实的场景表现和空间交互性。然而，由于所需的训练时间很长，实时更新此类场景在很大程度上仍不可行。我们提出了 GaussianNexus，这是一个将高斯溅射应用于房间尺度远程呈现的系统。我们的系统使用高斯溅射作为主要场景表示介质，使用 360° 摄像头流式传输和跟踪 2D 和 3D 动态变化。对于实时 2D 交互，系统将矫正后的视频叠加到用户选择的表面上。对于实时 3D 交互，用户识别环境中的动态物体，然后将其分割、跟踪并同步为高斯溅射环境的实时更新，实现流畅、低延迟的远程呈现而无需重新训练。我们通过两个示例应用展示了 GaussianNexus 的实用性，并在可用性测试中对其进行了评估。