CollageVis：用于独立电影制作的视频拼贴快速预可视化工具

文献标题

CollageVis: Rapid Previsualization Tool for Indie Filmmaking using Video Collages

文献信息

• 主题领域: 人机交互（HCI）、电影制作预可视化工具
• 关键词: 预可视化、故事板、独立电影制作、视频拼贴、虚拟相机、实时视频合成

研究背景与问题

• 问题与挑战:

  • 当前传统电影制作中的预可视化方法（如2D草图故事板或3D动画）耗时费力，而且对独立电影制作人要求较高的技术和资源。
  • 自动生成的文本到图像/动画的预可视化工具虽然高效，但依赖于预设数据集，并且缺乏创作自由。
  • 虚拟现实（VR）方法虽然具有沉浸感，但设备成本高昂，并且对于非技术用户存在学习门槛。
  • 对偏向简单快速的测试视频方法的需求却存在诸如人员/时间协调困难、现场拍摄天气局限等问题。

• 研究动机:

  • 当前独立电影制作人倾向于采用粗略的测试视频，但希望能有一种工具能克服物理和编辑局限，快速生成灵活且直观的场景预可视化。

解决方案

• 方法或解决方案:

  • 提出了一种名为 CollageVis 的实时视频拼贴工具，提供了两种用户界面：
    1. Collage Board: 用于人物分割、视频背景替换及角色标记（如名字标签、颜色滤镜、换脸及声音修改等）。
    2. Virtual Stage: 视频层可以在2.5D虚拟空间中移动，用户可通过移动设备拍摄虚拟相机镜头，进行场景布局和镜头计划。

• 创新之处:

  • 利用视频拼贴技术，摒弃传统的2D绘画与3D动画，降低预可视化的技术和资金门槛。
  • 引入虚拟相机代理机制，允许用户用移动设备模拟多种镜头运动（如手持、轨道运动等）。
  • 支持动态场景变化（时间、天气、灯光设置等）。
  • 提供2.5D空间布局设计，方便电影团队成员以多角度视图规划拍摄细节。

• 具体实施步骤与技术:

  1. 使用 MediaPipe 的图像分割模型实时提取演员前景视频并生成透明背景视频层。
  2. 提供实时的面部交换功能（基于 SimSwap 技术），以及 Google Cloud API 进行语音到文本转换。
  3. 移动设备充当虚拟相机，通过姿态传感器数据模拟摄像机移动。
  4. 将视频层及场景转化为虚拟环境，并支持通过鼠标或移动设备布局设计与镜头捕捉。

研究成果

• 具体成果:

  • 使用 CollageVis 模拟七个经典电影场景，展示了其在演员模拟、场景环境调整和镜头运动设计方面的应用能力。
  • 通过用户研究发现，电影导演普遍认可工具的灵活性与快速生成能力，并认为该工具有效提高了预可视化的合作与创作效率。

• 实验或评估结果:

  • 系统使用性测试得分（SUS）为80.41/100，用户对其学习曲线与使用体验持高度肯定。
  • NASA-TLX任务负担得分较低，平均为16.81，反映了工具在减少预可视化过程中的认知和操作负担方面的能力。
  • 用户表示 CollageVis 在节省时间、支持视觉表达和减少试错成本方面表现优越。

• 与现有解决方案的比较优势:

  • 相较于2D绘图工具：操作更简单，无需绘画技能，生成视频直观且实时性强。
  • 相较于3D 动画工具：克服了复杂建模与动画技术的门槛，无需依赖大型设备如VR装置。
  • 可实现快速灵活的修改，支持即时镜头运动和场景环境切换。

• 局限性与未来方向:

  • 局限性：
    • 2.5D环境中，视频层无法完美呈现不同摄像机角度下的演员姿态，需要多角度拍摄。
    • 演员与道具的修改需重新录视频，不支持从现有视频中直接调整细节。
  • 未来工作：
    • 增强多样输入方式，包括支持静态图片、手绘草图和3D模型的快速集成。
    • 改善视频分割的边缘质量。
    • 探索2D视频向3D动画快速转换的可能性。
    • 扩展应用领域至音乐视频、舞蹈编排等其他创作形式。