DreamStream：虚拟现实中的沉浸式和交互式观看

文献标题

DreamStream: Immersive and Interactive Spectating in VR

文献信息

• 主题领域: 虚拟现实（Virtual Reality, VR）、人机交互
• 关键词: 虚拟现实, 实时流媒体, 用户协作, 沉浸式体验, 互动观看, 深度纹理, 多玩家, OpenVR, 3D重建, 用户界面

研究背景与问题

• 问题与挑战:
  • 当前 VR 活动的观赏主要依赖于观众通过传统显示器观看 2D 视频，导致观众无法充分体验 VR 的沉浸感。
  • 现有多用户 VR 系统需要观众下载完整的 VR 应用程序，这对设备要求较高且难以实现例如直播上的“即插即用”体验。
  • 没有广泛通用的解决方案支持用 3D 场景来流媒体形式显示 VR 应用。
• 重要性:
  • 在游戏、协作和媒体消费领域，随着 VR 的流行，观众对更沉浸式的观看体验需求增加。
  • 提高观众的交互能力和体验，可优化 VR 内容的娱乐性和教育性，以及提升直播或游戏的社交动态。
• 研究动机与相关工作:
  • 现有解决方案的不足：
    • 2D 视频流媒体限制了观众的沉浸感。
    • 部分支持多用户的 VR 系统要求每位观众安装完整应用，限制了观众便捷访问场景的能力。
  • 理想的解决方案需要能以低成本方式使观众以 3D 的形式沉浸式“旁观”VR 场景，同时支持现实世界中的协作互动。

解决方案

• 主要方法与框架:
  • 提出 DreamStream 系统，为观众提供临场 3D 重建的 VR 观看体验。
  • 系统包括三部分：
    • DreamStream-Host：运行在 VR 玩家设备上的模块，负责拦截和转化 VR 应用的纹理数据（RGB 和深度），生成嵌入深度信息的 2.5D 视频帧。
    • DreamStream-Relay：中继服务运行在云端或本地服务器，负责协调多用户数据流的分发。
    • DreamStream-Client：运行在观众设备上的客户端，用于重建 VR 场景并渲染可交互的 3D 界面。
• 技术与实现步骤:
  1. 拦截视频和深度纹理：利用 OpenVR 的库函数调用，捕获 VR 应用的 RGB 和深度缓冲区。
  2. 生成 2.5D 视频帧：将纹理数据和深度数据编码成 H.264 视频流。
  3. 二次视角采样：通过改变 VR 用户头盔位置模拟第三人称视角，捕获 VR 场景周围环境信息。
  4. 流媒体分发与渲染：
     • Relay 作为中心管理节点，协调多个客户端与主机交互。
     • Spectator 的客户端利用 2.5D 流完成 VR 场景的重建和渲染。
  5. 支持交互与同步：
     • 添加虚拟化的观众和玩家的实时 3D 化身，用以增强协作感。
     • 实现激光指针等工具，帮助观众与玩家交互。
• 创新性:
  • 不需要修改现有 VR 应用代码，即可实现跨应用的实时 3D 流媒体。
  • 通过深度缓冲区和 RGB 纹理组合，解耦了玩家和观众的视角。
  • 支持 VR/2D 双模式观看，与多人实时协作。

研究成果

• 具体成果:
  • 测试验证了 DreamStream 系统在七种流行的 VR 游戏内的适用性（如 Skyrim、TiltBrush、BeatSaber）。
  • 用户评估显示 DreamStream 提供了更具沉浸感和更易于交互的观赏体验。
• 实验结果:
  • 和基准系统相比，参与者在场景理解、沉浸感、协作感等方面对 DreamStream 评价更高。
  • Statistically，通过量表（如 NASA-TLX）测量认知负担，DreamStream 系统显著减少了工作负载。
• 优势:
  • 提供基于流媒体的“即插即用”观看体验。
  • 音视频流的标准化编码提高了性能，允许高质量、低延迟的多观众观看。
  • 增强了传统非对称式协作环境下观众与 VR 玩家之间的互动感。
• 局限性:
  • 3D 场景重建存在伪影问题，特别是在快速移动和复杂图像边缘时。
  • 由于实时流的计算密集性，编码帧率有时候可能受到限制（即 FPS 下跌）。
  • 支持多观众时的全局同步和场景管理仍需完善。
• 未来方向:
  • 改进 3D 重建算法以减少伪影。
  • 研究如何支持大规模观众同时交互的社交动态。
  • 衡量不同类型 VR 应用（非游戏场景如教育、协作）的适配性。
  • 探索自动化优化流媒体质量的方法（如基于缓存的实时调整）。

参考分析

• 此工作不仅提出了易用性强的 VR 观赏系统，还推动了对 VR 协作与实时互动领域的技术改进。
• 通过特定设计（如实时深度纹理提取、Spectator Avatar 系统），有效解决了现有 VR 流媒体系统用户体验不足的问题。