Dreamcrafter：通过灵活的生成输入和输出对3D辐射场进行沉浸式编辑

研究背景与问题

• 问题或挑战: 论文强调，3D场景创作在空间计算应用中极具重要性，但传统的创作工具对用户要求高，且门槛难以跨越，仅适用于少数专家用户。同时，最近的基于辐射场的技术（如NeRFs和3D Gaussian Splatting）虽然能够捕获逼真的场景，但仍然缺乏实时编辑功能。此外，生成式AI提供了高抽象层级的场景编辑可能，但性能瓶颈（高延迟）限制了其广泛应用。
• 重要性: 场景编辑在游戏开发、室内设计和虚拟制作等领域至关重要，因此降低3D内容创作的门槛以及在高抽象和高控制层之间提供平衡的交互极具意义。
• 研究动机与相关工作: 作者受前沿研究启发，希望整合生成式AI和沉浸式交互技术，将实时编辑和高抽象编辑结合起来，满足从普通用户到专业开发者的多样化需求。

解决方案

• 方法或解决方案:
  • 引入Dreamcrafter系统：一个基于VR的3D场景编辑工具，整合了生成式AI算法。
  • 支持模块化架构，便于未来融入新的生成技术。
  • 提供多层次的交互方式，如语言命令、直接操作和微调工具。
  • 利用代理表示（proxy representations），通过快速生成2D预览来优化长延迟的3D生成和编辑过程。
• 创新之处:
  • 提供一种实时可用的系统，使用代理表示将3D编辑延迟问题最小化。
  • 将传统的直接操作和生成式AI的文本指令结合起来，为用户提供灵活的控制方式。
  • 增加了一种通过3D基本形状进行雕刻并随后通过AI进行样式化的生成方法，为用户提供了更高精度的对象创作功能。
• 实施步骤与关键技术:
  • Dreamcrafter利用Unity开发交互界面，并使用VR设备支持沉浸式编辑。
  • 在线模块用于预览生成结果（如ControlNet和Shape-E生成低保真对象）。
  • 离线模块用于完成高质量的对象编辑，比如使用Instruct-NeRF2NeRF编辑辐射场。
  • 代理表示系统通过2D图像（基于Stable Diffusion生成的预览）来实时反馈编辑结果，赋予用户场景设计的视觉参考。

研究成果

• 具体成果:
  • Dreamcrafter支持实时的多种交互方式，包括对象移动、直接操作、语言类指令生成、雕刻后样式化等。
  • 用户反馈认为代理表示非常有用，尤其是帮助场景整体设计，但对细节控制和尺寸预览略显不足。
  • 多种用户交互方式使得用户能够灵活地设计复杂的场景，缩短了创作时间。
• 优势:
  • 与传统工具相比，Dreamcrafter显著降低了用户创建3D场景的门槛。
  • 生成式AI支持使得非专业用户能够快速创建高质量的场景，而无需掌握复杂的3D建模技能。
  • 提供多种创作路径（基于语言指令或直接操作），适应不同用户的需求。
• 实验与评估结果:
  • 通过用户第一次使用研究发现，多数用户更喜欢通过AI促进的构建功能，尽管当涉及复杂个性化细节时，他们更愿意使用直接操作（雕刻工具）。
  • 报告表明，有2D表示的代理预览显著帮助用户快速理解结果，但在尺寸信息和完全场景一致性方面仍然存在不足。
• 局限性与未来方向:
  • 一些用户反馈操作物理效果和VR设备交互难以实现精确控制，未来可以改进交互工具。
  • 代理表示无法完全涵盖对象大小等信息，后续可以通过3D线框或低保真网格增强代理功能。
  • 最重要的是，系统当前还无法执行场景的全局样式化或风格一致性功能，这是未来研究的一个潜在方向。

总结

Dreamcrafter通过结合生成式AI和沉浸式虚拟现实技术，为3D场景创作提供了一种创新性和灵活性兼备的解决方案。它不仅降低了创作门槛，还为用户提供多种创作路径和实时预览功能，解决了传统方法中的关键瓶颈。同时，它的模块化设计为未来的3D内容创作工具开辟了新的可能性，并为未来的交互和生成式AI研究提供了启示。