草图引导与提示引导的3D生成AI对设计探索过程的影响

文献标题

The Impact of Sketch-guided vs. Prompt-guided 3D Generative AIs on the Design Exploration Process

文献信息

• 主题领域: 人机交互（HCI）与生成式人工智能（GenAI）在设计探索过程中的应用
• 关键词: 生成式人工智能, 3D重建, 设计过程中的人工智能, 设计探索, 人机交互, 构思阶段, 创意评估, 自评设计方法

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前研究主要集中于提升生成式人工智能的输出质量，但很少深入探讨不同输入模态（如草图和提示）的生成式人工智能如何影响设计过程。
  • 尽管已有研究表明生成式AI可快速探索设计空间，但其在设计构思阶段的多样性、创意影响以及设计行为的不同表现尚未系统分析。
  • 现有研究缺乏关于设计师如何与草图引导或提示引导的3D生成系统协作，及如何影响设计决策的全面理解。

• 为什么这个问题很重要？

  • 理解草图与提示引导的生成式AI在设计过程中所起的不同作用对于改进工具设计、支持设计师创意思考以及提升设计效率具有重要价值。
  • 生成式AI正成为设计师的重要工具，系统分析其效果可以改善人机协作的有效性并推动生成式AI技术的发展。

• 研究动机与相关工作

  • 存在一些关于2D图像生成和文本生成的研究，但3D生成模型在设计过程中的具体作用尚未明确。
  • 设计工作流分析与链接表分析方法（Linkography）已在HCI领域用于了解设计师行为，但尚未应用于生成式AI领域的深度分析。

解决方案

• 作者提出了哪些方法或解决方案？

  • 构建草图引导和提示引导的3D生成系统，并通过链接表分析（Linkography）和工作流图分析（Workflow Graph）评估两种模式对12名参与者设计过程的影响。
  • 将设计过程分为“构思阶段”、“选择阶段”和“最终设计阶段”，分析每阶段系统的效能和局限性。

• 该解决方案的创新之处是什么？

  • 系统对比了不同输入形式（草图与文本提示）生成式AI对设计过程的具体影响，从工具效能到设计师行为，以前瞻性的方式建议潜在的HCI框架优化方案。
  • 提出了通过两种模式的组合使用提升设计流程的创造性和协同效能的方向。

• 实施步骤：

  • 实现并优化了草图引导和提示引导的3D生成系统，分别基于SALAD和LAS Diffusion模型。
  • 设计用户实验以应用这些系统，测量设计师的行为模式（如想法生成的多样性和信息新颖性）。
  • 使用Linkography分析设计动作之间的关联（如前向链接、后向链接）的密集性和熵值，评估创意的情绪。
  • 构建工作流图揭示设计师在工具使用时的行动序列和差异。

研究成果

• 取得了哪些具体成果？

  • 草图引导系统在设计的中后期（选择和细化阶段）表现出了较强的帮助作用，支持设计师的收敛性思维和设计精细化。
  • 提示引导系统更适合设计的早期阶段（构思阶段），支持发散性思维和广泛的创意探索。
  • 设计师的行为显示草图引导系统更倾向于经由自我评估促进创意决策，而提示引导系统则更强调生成参考灵感。

• 与现有解决方案相比，它有哪些优势？

  • 提供了从设计行为分析到工具优化建议的深入洞察，超越了现有研究主要以生成内容质量为目标的限制。
  • 明确了两种生成式AI模态各自的优势并提出了将两者进行整合的可行方案，从而在全过程中支持设计师既能广泛探索又能精准收敛。

• 实验或评估结果：

  • Linkography分析显示草图系统的平均链路指数为8.497，熵值为76.002；提示系统的链路指数为4.021，熵值为59.301。
  • 工作流图显示草图系统节点密集、方向明确，而提示系统节点更加发散，代表设计过程的多样性。
  • 用户调查与深度访谈中，设计师普遍认为草图系统在后期更具效能，而提示系统在早期增强灵感生成。

• 局限性与未来方向

  • 局限性：
    • 实验环境为实验室而非真实场景，研究结果可能与专业设计实践有所偏差。
    • 部分设计师对生成式AI输出未满足期望感到困难，反映现有系统的用户意图匹配能力不足。
  • 未来方向：
    • 研究如何整合草图和提示模态以在设计过程中动态支持不同阶段的需求。
    • 探讨基于用户反馈的模型优化技术（如RLHF）在生成式AI中的应用。
    • 扩展研究范围至真实设计项目环境以检验生成式AI的实际效能。