PlantoGraphy：将迭代设计过程融入景观渲染的生成式人工智能

文献标题

PlantoGraphy: Incorporating Iterative Design Process into Generative Artificial Intelligence for Landscape Rendering

文献信息

• 主题领域: 人工智能与景观设计的结合，特别是生成式人工智能在景观可视化中的应用
• 关键词: 景观渲染, 大语言模型, 场景图, 生成式人工智能, 迭代设计, 人机交互, 低秩调整, 图形界面, 条件生成, 设计过程

研究背景与问题

• 发现的挑战与问题:
  1. 当前生成式人工智能主要采用端到端生成方法，缺乏迭代式设计的灵活性，无法很好地支持景观设计师的常见设计过程。
  2. 现有工具在理解设计元素的空间排列和植物选择上存在敏感性不足的问题，例如对方向词汇或植物种类的理解不准确。
  3. 当前的系统缺乏足够的交互功能，无法满足设计师在迭代设计过程中逐步调整的需求。
• 研究重要性: 景观设计是一个兼有艺术与技术的领域，基于高质量渲染的设计让利益相关者能够更好地理解并评估设计方案，从而推动高效且准确的设计。
• 研究动机与相关工作:
  • 传统的景观设计操作较为繁琐，包含从概念化到3D建模到最终渲染的多个阶段，且通常需要多次迭代。
  • 生成式人工智能（例如Stable Diffusion, DALL-E）已表现出在图像生成中的潜力，但对景观场景的描述和生成支持不足。
  • 需要开发一种支持交互编辑并能够逐步优化设计的系统。

解决方案

• 核心方法与框架:
  • 提出了一种名为PlantoGraphy的系统，可支持从文本到场景布局再到景观细节渲染的迭代设计过程。
  • 系统采用两阶段管线:
    1. 具体化模块: 将用户的设计概念（文本描述）转化为具体的场景布局，利用场景图作为文本与布局的中介表示，提升模型对设计描述的理解能力。
    2. 图解模块: 基于自定义的植物数据集，采用低秩调整(Low-Rank Adaptation, LoRA)模型微调扩散模型，从而生成高精度的景观渲染图。
• 创新点:
  • 引入场景图作为中间表示形式，帮助大语言模型更好地理解景观描述中的空间语义。
  • 提供图形化的交互界面，允许设计师通过文本输入、图形编辑以及布局调整多种方式表达设计意图。
  • 使用约束布局和实例级潜在组合处理生成中的前后关系，提升生成结果的一致性。
• 实施步骤与关键技术:
  • 大语言模型生成场景图（节点表示植物、边表示植物关系）。
  • 基于场景布局和扩散模型生成真实感的渲染图。
  • 提供交互功能（节点添加、位置调整）支持迭代设计。

研究成果

• 主要成果:
  1. 功能性评估: PlantoGraphy在支持的迭代功能和结果生成的一致性上表现出色。
  2. 模型改进: 使用少量领域知识数据 fine-tune 模型，有效提升生成质量。
  3. 交互式设计支持: 用户研究表明，系统显著提高了创意过程中的效率和参与程度。
• 与现有方案的对比优势:
  • 相较于传统AI工具，支持设计师在生成过程中的更高控制，尤其是迭代修改。
  • 在景观描述的理解和布局生成的准确性方面表现更优（通过优化提示设计和注入领域知识实现）。
  • 在定制化植物生成准确性方面显著提升，超越了一般性生成模型的能力。
• 实验与评估:
  1. 具体化模块实验: 在对象尺寸分配、空间推理和透视推理三个维度上进行量化评估，结果显示注入领域知识的模型显著优于不注入的模型。
  2. 图解模块实验: 通过结构相似性指数（SSIM）评估多代生成结果的一致性，证明布局指导与LoRA增强的模型具有更高性能。
  3. 用户研究: 在与传统工具比较的实验中，PlantoGraphy提升了设计效率，尤其是在为客户确认设计需求或快速探索阶段。
• 局限性与未来方向:
  • 当前的数据集限制了支持的植物种类，且随着生成物体的复杂性增加，精度有所下降。
  • Fine-tune 的LoRA模型可能导致一定的概念污染（如生成结果偏向特定风格或种类）。
  • 对更复杂和多样化需求的支持仍有待进一步提升。
  • 未来计划改进系统的可控性，支持更多输入方式（如手绘草图），增强用户体验。