XCam：用于虚拟现实体验现场制作的混合发起虚拟摄像

研究背景与问题

• 作者发现的问题或挑战： 目前，虚拟现实 (VR) 环境的实时摄像和制作存在显著的不足。尽管 VR 已广泛被用于虚拟会议、活动等场景，但现有的捕捉解决方案多限制于单视角（如流媒体者的视角）或复杂的设置，且缺乏支持高级虚拟摄影技术的工具。

• 为什么这个问题很重要： VR的广泛使用增加了对高质量内容录制和流媒体的需求，尤其是在需要吸引观众并提高参与度的场景中。而现有的解决方案无法充分满足虚拟制作的灵活性、专业性和可用性需求。这种局限性阻碍了VR工具在内容创作中的潜力发挥。

• 研究动机与相关工作： 作者受到了传统电影制作和社交媒体中自动化视频技术（如短视频平台TikTok）以及高预算虚拟制作（如《曼达洛人》等）的启发，旨在通过开发支持“混合自主”的虚拟摄影工具来平衡自动化与用户控制，以便让工具更广泛可用。

解决方案

• 作者提出的方法或解决方案： 作者提出了一个名为XCam的工具包。该工具支持“混合自主控制”，允许用户按照手动、半手动、半自动到全自动的不同粒度操控虚拟摄像。其设计框架将物体跟踪、摄像机运动和场景切换的关注点分离，提供各方面的独立自动化支持。

• 解决方案的创新之处：

  1. 在现有系统中主要依赖完全的手动控制或有限的自动化不同，XCam支持用户在“完全控制”和“完全自动化”之间自由调节。
  2. 提供模块化的三维自动化，即通过独立控制对象跟踪、摄像机运动和场景过渡来减少人工操作。
  3. 支持手势、语音等自然输入，以及动态语义反馈（如基于场景的“热量”系统判断关键动作捕捉）。
  4. 提供从实时制作到后期制作的跨阶段支持，包括对象跟踪、镜头稳定和深度后期效果（如景深和模糊）。

• 实施步骤与关键技术：

  1. 设计空间探索：
     • 构建6个虚拟现实应用场景（摄影、课堂、绘画、会议、射击游戏及篮球游戏）。
     • 针对每个场景开发和测试手动到全自动控制的不同技术，探索用户需求和潜在技术可能性。
  2. 提炼需求：
     • 基于对6名虚拟现实内容创作者的访谈，收集功能性和非功能性需求：如平衡自动化与用户控制、提升跨平台兼容性等。
  3. 工具开发：
     • 构建 XCam 工具包，其中的技术包括：虚拟轨迹规划、语音指令的视角切换、语义热点跟踪、多摄像机场景过渡等。
     • 实现用于实时拍摄和自动镜头控制的三维对象跟踪功能。
  4. 评估与验证：
     • 通过与专家创作者的三次后续工作坊开展案例研究，多角度测试工具的功能与实际效用。

研究成果

• 取得的具体成果：

  1. 提出并实现了覆盖手动到自动化的多粒度虚拟摄像控制。
  2. 开发了一个功能完善且模块化的XCam工具包，其核心功能包括自定义对象跟踪、镜头运动、场景过渡、深度后期特效及捕捉与回放系统。
  3. 明确了混合自主控制工具在虚拟摄影工作流中的可行性与优势。

• 与现有解决方案的优势：

  1. 灵活性：相比于现有VR记录工具单一的第一人称视角，XCam提供全新的多视角捕捉能力。
  2. 自动化质量：包含“热量”追踪等高层语义分析，提升了自动化镜头切换的智能性。
  3. 用户友好性：支持自然输入（如语音、手势），为摄影师和非专业用户均提供广泛适应性。
  4. 跨阶段支持：同时针对实时制作和后期制作提供支持。

• 实验或评估结果：

  • 专家测试中，XCam被认为显著降低了手动摄像的工作量，促进了实时内容创作的效率。
  • 例如，在案例研究中，使用XCam减少了制作《鬼影摄影》类似镜头的时间（从数小时缩短到不到一分钟），并为不同用户提供跨平台和无障碍支持。

• 局限性与未来方向：

  1. 样本数量：测试受访者和案例研究样本较小，未来研究应扩展到更多使用情景与用户。
  2. 智能化：当前的自动化功能仍基于启发式算法，未来可引入基于生成式AI的视频模型学习经典电影的镜头语言，提高智能化程度。
  3. 混合环境：虽然当前主要应用于VR场景，未来也可扩展为结合物理与虚拟的混合现实制作工具。
  4. 行业伦理：专家指出AI自动化虽具创新潜力，但应保持工具对人类创意的“辅助作用”，避免对自动生成的过度依赖。

通过本文，作者为虚拟现实制作中的摄影工作流提供了新的方向，强调了混合自主控制技术在降低人工操作负担、提高内容创作效率和激发创意方面的潜在价值，同时为未来研究与开发奠定了坚实基础。