PrevizWhiz：结合粗糙 3D 场景和 2D 视频指导生成式视频预可视化

文献标题

PrevizWhiz: Combining Rough 3D Scenes and 2D Video to Guide Generative Video Previsualization

出版信息

• 主题领域: 基于人工智能的电影制作预视觉化
• 关键词: 预视觉化, 生成式人工智能, 电影制作, 3D场景设计, 视频风格化, 动作控制, 创意工作流, 生成式视频模型, 前期制作中的人工智能, 电影工具

背景与问题

• 问题/挑战: 现有的预视觉化工具迫使电影制作人必须在速度、精度和控制之间做出选择。分镜头脚本缺乏空间和时间上的精确性，而3D工具需要专业知识和高精度资源。尽管生成式人工智能模型前景广阔，但在时间一致性和空间定位方面仍存在不足。
• 重要性: 解决这些局限性可以加速创意迭代，降低技术门槛，并改善电影制作团队之间的沟通，尤其是对于资源有限的制作团队。
• 动机与相关工作: 之前的工具如分镜头脚本、3D预视觉化软件和生成式人工智能模型在精度、可访问性和控制方面存在局限性。生成式人工智能在风格迁移和视频生成方面的最新进展提供了新的机会，但尚未整合到轻量化、结构化的电影制作工作流中。

解决方案

• 提出的方法: PrevizWhiz——一个结合粗略3D场景设计、基于生成式人工智能的帧风格化以及利用2D视频参考进行详细动作控制的系统，用于创建灵活且富有表现力的预视觉化。
• 创新点:
  1. 将粗略3D环境与生成式视频模型相结合，实现轻量化预视觉化。
  2. 提供多层次的动作精度控制，从粗略的3D设计到利用外部视频参考实现精细动作。
  3. 可调的相似度级别，用于平衡对3D框架的遵从性与生成输出中的创意自由度。
  4. 支持快速迭代和跨学科协作的统一工作流。
• 流程与关键技术:
  • 使用粗略3D设计进行场景设置，提供空间和时间结构。
  • 通过生成式人工智能进行帧风格化，并提供可调的相似度级别（严格、忠实、灵活、宽松）。
  • 通过3D设计、风格化动画和外部视频参考实现动作控制。
  • 使用多模态输入（如骨骼、深度图）和工具（如FlowEdit和ControlNet）生成视频。

结果

• 具体发现:
  • 参与者对系统的可用性评价较高（系统可用性量表中位数=4/5，大多数功能）。
  • 生成的输出被认为具有专业性且有效于沟通，但与用户意图的匹配度评价不一（中位数=3/5，匹配想象）。
  • 视频生成延迟约为每段视频1分钟。
• 相较基线的优势: 比传统3D工具（如Cine Tracer）更快且更易用，同时比文本到视频方法（如MidJourney或Runway）提供更多结构和控制。
• 实验/评估:
  • 对10名参与者（电影制作人和3D专家，经验1–15年）进行研究。
  • 任务包括为室内和室外场景创建不同精度和创意控制水平的预视觉化。
  • 数据通过问卷调查、访谈和记录的输出收集。
• 局限性与未来工作:
  • 在生成输出的时间一致性、跨镜头连续性和精细控制方面存在挑战。
  • 研究时长有限（90–120分钟），模型延迟限制了更广泛的探索。
  • 未来工作包括改进模型可靠性、减少延迟，并解决关于著作权和劳动替代的伦理问题。

总结

PrevizWhiz通过整合粗略3D场景设计、基于生成式人工智能的风格化和利用2D视频参考的动作控制，提出了一种新的预视觉化方法。该系统使电影制作人能够快速迭代视觉创意，在结构精度与创意灵活性之间实现平衡。一项用户研究证明了其在轻量化前期制作中的有效性，但在确保与创意意图的一致性以及解决人工智能在电影制作中的伦理问题方面仍面临挑战。PrevizWhiz有潜力降低独立创作者的门槛，并增强电影制作团队之间的协作。