Inkspire：通过类比草图支持设计探索的生成式AI

研究背景与问题

• 研究问题及挑战：

  1. 当前文本生成图像（Text-to-Image, T2I）模型虽然能够为设计师生成高质量图像，但在解释抽象语言时能力有限。例如，难以根据“保护性的汽车”这样的抽象概念生成启发性色彩的设计。
  2. 文本驱动的用户界面通常导致“设计固化”（design fixation），即设计师倾向于反复围绕某个问题或图像的小变化进行生成而非探索新颖设计。
  3. T2I 模型生成的输出通常“过于完整”，导致设计师在进行进一步创意时感到受限，失去对设计细节的控制。

• 重要性及研究动机：

  1. 设计师的创新过程需要广泛且动态的设计探索，以及应对抽象和复杂设计目标的能力。
  2. 当前关于设计师如何使用生成式 AI 的观察表明，促使设计师探索更多设计方案并与 AI 协作进行跨领域启发（如类比驱动的设计）具有重要价值。
  3. 本研究以推动 T2I 模型真正融入设计师的工作流程为目标，为创造性设计提供支持。

• 相关工作：

  1. 文献显示 T2I 能够提升新点子的生成潜力，但往往也会限制用户的设计分散性与原始性；
  2. 现有固定模式下的“高保真图像输出”容易使设计师产生心理固定，通过降低抽象图像的复杂度可减少设计固化。

解决方案

• 提出的解决方法：

  1. 开发一个创新型设计工具 Inkspire，以草图为驱动，支持设计的迭代和探索。
  2. 集成“类比启发”功能，将抽象设计主题转化为具象、视觉上的灵感素材（例如，“保护性”关联到乌龟、盔甲或碉堡等）。
  3. 提供“设计到草图反向循环反馈”，即高保真设计转换为低分辨率的草图轮廓，让设计师避开固定思维，从而逐步改进设计。

• 创新之处：

  1. 类比驱动设计：通过大语言模型（如 GPT-4）生成与目标概念相关的多领域类比灵感（包括自然、建筑、时尚等领域）。
  2. 草图引导生成：采用动态调整的生成控制，根据用户逐步完善的草图实时生成新设计，同时保留灵活探索的空间。
  3. 草图脚手架（Scaffolding）：将 AI 生成的高保真图像抽象化为低分辨率草图，用于引导下轮设计，从而减少“完成品”的视觉固定效应。

• 实现步骤及关键技术：

  1. Sketch2Design 模块：
     • 利用 LLM（如 GPT-4）生成从抽象到具体的类比概念。
     • 通过修订 ControlNet 模型的动态指导尺度，实现基于草图的交互生成，支持用户在每次新增笔触时即时生成新设计。
  2. Design2Sketch 模块：
     • 通过语义分割提取由生成设计的关键轮廓；
     • 结合软边缘检测技术，降低草图视觉细节，生成高质量但抽象化的草图脚手架。
  3. 用户界面交互：
     • 提供“类比面板”快速生成主题灵感，“草图面板”进行基于草图的迭代设计，“进化面板”记录设计历史。

研究成果

• 具体成果：

  1. Inkspire 在探索与启发阶段远胜于传统 T2I 工具（如 ControlNet）。设计师认为其更能激发灵感并提升设计多样性。
  2. 提供了一个草图驱动、以类比为核心的设计新工作流程，实现了更流畅的 AI 协作。

• 相较现有方案的优势：

  1. 支持真实的“人机共创”，提升了设计师与 AI 的“沟通”与“合作伙伴关系”评分；
  2. 设计师对最终设计有更强的掌控感和归属感；
  3. 有效减少了设计师的设计固化行为，使得更多新设计方向得以尝试。

• 实验或评估结果：

  1. 探索与启发：用户在 Inkspire 中的创意支持指数（CSI）显著高于基准控制组，尤其在探索（p<0.01）与启发（p<0.01）方面得分优异。
  2. 草图行为：使用 Inkspire 的用户草图笔触次数更少（μ=17.3）但更抽象和“轻量”，与基准工具相比能促进更为流畅的小步迭代过程。
  3. 人机合作：用户自评分中，Inkspire 在 AI 控制、沟通、伙伴关系等方面有显著提升。

• 局限性与未来方向：

  1. Inkspire 面向设计探索的早期阶段，对于后期精细化设计的支持尚需改进；
  2. 类比生成功能在启发设计多样性方面表现良好，但尚不支持更复杂层次的多分支探索；
  3. 系统功能（如草图工具、语义精确控制等）仍有进一步改进空间，未来可添加更复杂的设计约束（如物理或材料特征）。

  潜在方向包括：探索跨领域应用（例如插画或建筑设计）、为团队协作引入更强的多分支探索支持、优化用户体验以及扩大实验样本规模以验证长期效果。