神经画布：通过集成3D草图和生成式AI支持风景设计原型

文献标题

Neural Canvas: Supporting Scenic Design Prototyping by Integrating 3D Sketching and Generative AI

文献信息

• 主题领域: 计算机辅助设计与生成式人工智能的结合应用，主要针对3D场景设计原型开发工具的研究。
• 关键词: 生成式人工智能 (Generative AI), 3D草图绘制 (3D Sketching), 场景设计 (Scenic Design), 原型设计 (Prototyping), 可视化工具 (Visualization Tools), 人机交互 (Human-Computer Interaction), 图像处理 (Image Processing), 用户研究 (User Study)

研究背景与问题

发现的问题与挑战

• 场景设计通常需要在影视、游戏和戏剧等媒介中创造3D环境，但由于其概念性和抽象性，这种工作会因花费大量时间、预算和技术要求而变得非常困难。
• 现有场景设计工具（如传统3D建模和草图绘制工具）存在不足。例如：
  • 草图绘制：虽然灵活性高，但难以准确表达3D空间关系和材质外观。
  • 传统3D软件：适合最终成品建模，但不适合快速原型开发。
  • 实体模型：虽然真实感强，但制作难度大且缺乏灵活性。
• 生成式AI的快速发展可以生成以文本或草图为输入的高质感2D图像，但目前尚缺乏整合3D草图绘制和生成式AI的全面工具。

重要性

• 场景设计是实现沉浸式用户体验的重要环节，能够提升故事的表现力、氛围和空间组织。然而，缺乏高效的工具限制了设计者快速探索和验证创意的能力。
• 为了解决现有工具的限制，创新设计工具对于提高创作效率和支持创意开发至关重要。

研究动机与相关工作

• 相关领域在图像建模与渲染、3D草图绘制和生成式AI上各有成效（例如多视图图像生成、多平面图像以及交互式分割技术），但仍然难以同时满足场景设计对空间外显性、外观表现力和快速迭代的需求。
• 作者形成了一个新设计工具的愿景，结合生成式AI和3D草图以提供更强的创造力支持。

解决方案

方法与方案概述

作者提出了 Neural Canvas，一种基于网络的轻量级3D平台，整合生成式AI和3D草图绘制，能够实现：

• 快速创建具有详细外观和空间关系的3D场景设计。
• 在一个平台内实现模型生成、分割、投影和编辑功能，减少用户在多平台间切换的复杂性。
• 独有的四种 投影操作方法，从而将生成的2D内容灵活地集成到3D环境中。

方案创新点

1. 提出一套面向场景设计的新型 投影方法：
   • 笔画投影: 将2D绘制的草图精确投影到3D平面，嵌入空间信息。
   • 图像投影: 将AI生成的图像在3D空间中作为纹理贴到指定的平面上。
   • 基于笔画控制的图像投影: 根据用户在多平面上的草图内容自动切割AI生成图像，并投影到对应平面。
   • 基于分割的图像投影: 利用深度学习方法对图像进行分割，自动识别并将其独立投影到3D环境中。
2. 集成13种生成式AI功能（包括文本到图像、草图到图像、图像修复和扩展等），增强创作的灵活性。
3. 设计了一种3D草图与AI工具紧密交互的创新架构，提高3D草图生成内容的质量并提供强大视点控制。

实施步骤与关键技术

1. 系统架构设计：
   • 前后端分离，前端处理用户交互与3D渲染，后端运行AI模型并提供高性能支持。
   • 集成开放源代码AI模型（如Stable Diffusion、Segment Anything）和云服务。
2. 生成式AI功能：
   • 通过ControlNet等技术增强用户对生成模型的控制。
   • 提供输入方式（如全屏渲染、参考背景），灵活指定AI生成内容的风格和布局。
3. 用户界面设计：
   • 多功能编辑模块，包括图层管理、画笔操作、图像分割等操作。
   • 界面支持用户快速导入、编辑与存储设计。

研究成果

具体成果

• 开发了Neural Canvas平台，显著提升了初期场景设计的效率，支持用户快速探索创意和改进3D草图。
• 通过用户研究验证了平台的有效性，包括12名用户在不同经验水平下的设计任务，结果显示：
  • 3D设计更直观，快速生成视觉信息且创意灵活性强。
  • 视频中展示的用户案例证明，Neural Canvas能帮助创作者在几小时内完成高质量草图到3D原型转化。

优势与对比

• Neural Canvas相比传统工具的优势总结如下：
  • 提供了细致的外观生成与强大的空间信息外显性。
  • 操作简单，比传统3D建模工具效率高，适合快速原型制作。
  • 整合多个生成式AI模型，避免频繁切换平台的复杂性。
• 与现有创新工具（例如Mental Canvas）相比，额外提供了:
  • 直接支持AI生成内容的多视点操作。
  • 新的投影方法显著提升了2D与3D内容集成的高效性。

用户研究洞察

• 专家和新手用户行为不同：专家更倾向于草图生成内容，并在整个流程中深度使用草图到图像功能；新手则更依赖文本输入生成内容。
• 用户在使用3D草图时能够显著提升生成式AI模型的输入质量，同时控制视点以获得更符合预期的生成效果。

局限性与未来方向

• 用户在切换视点和投影操作中的体验可以改进，例如通过引入深度估计算法或多视图辅助。
• 图层管理复杂性随着场景复杂度的增加而增加，可以通过AI自动化命名或集成物理手势控制等方式优化。
• 平台支持的生成式AI模型种类有限，未来可与更丰富的模型搜索平台（如Modelverse）集成以扩展风格多样性。

总结

Neural Canvas通过结合3D草图与生成式AI，重新定义了场景设计原型制作流程，显著降低了技术与创意门槛，并为未来的设计工具开发提供了参考。平台将通过开放化与社区支持进一步发展，推动生成式AI与3D创作的协同效应。