CreativeConnect: 利用生成式人工智能支持图形设计构思中的参考重组

文献标题

CreativeConnect: Supporting Reference Recombination for Graphic Design Ideation with Generative AI

文献信息

• 主题领域: 图形设计、生成式人工智能、创意支持工具
• 关键词: 创意支持工具, 图形设计构思, 参考重组, 机器学习, 生成式人工智能

研究背景与问题

• 发现问题或挑战:

  1. 图形设计师在创意过程中的参考重组需要大量精力，特别是分解参考中的元素以及找到合适的组合方案。
  2. 初学设计者比专业人士更难从参考中提取灵感，并整合不同领域的参考。
  3. 使用现有方法生成设计组合存在局限性，强调精确且协调的组合，缺乏多样性以支持探究性创意。

• 重要性: 图形设计的创意生成常通过组合现有示例（组合创意）实现。然而，现有工具在参考分解和组合生成方面效率不足，且设计师在找到创意方向并生成多样方案时容易受限。解决这类问题有望加速设计过程并提升设计质量和多样性。

• 研究动机与相关工作: 为理解设计师在参考重组中的挑战，本文进行了研究以发现两阶段的创意思维模式（概念构思阶段与视觉开发阶段）。作者提出包括推荐元素、多样组合生成和输出方式控制在内的工具设计目标，以提高参考重组效率和创意能力。

解决方案

• 提出的解决方案: 开发了一个生成式AI支持的图形设计工具——CreativeConnect。该系统通过关键词提取、关键词推荐以及关键词合并来简化参考重组过程，并通过生成草图和文字描述提供灵感。

• 创新点:

  1. 提供基于参考的多种关键词分类与提取，覆盖“主题内容”、“动作与姿势”、“主题与情绪”、“布局”等。
  2. 自动化推荐与重组关键词，支持设计师扩展思维。
  3. 使用低保真草图输出方式，让设计师以更高水平参与创意生成。

• 实施步骤和关键技术:

  1. 关键词提取: 通过图片说明模型（BLIP-2）生成初始文本描述，再通过GPT-4提取关键词。
  2. 关键词推荐: 使用GPT-4生成相关关键词，通过语义组合扩展参考。
  3. 关键词重组与草图生成: 使用GPT-3.5生成文本描述，结合布局模型（Segment Anything和Layout Diffusion）生成多样草图并转化为简单线条草图形式。

研究成果

• 成果:

  1. CreativeConnect显著提升了设计师发现参考元素和生成多样创意的能力。
  2. 与基准系统相比，用户在使用CreativeConnect时能够快速生成更多创意草图，并认为自己的设计创意更独特且高效。
  3. 实验结果显示，系统支持用户在参考重组过程中更全面地探索组合可能性，并释放创意潜力。

• 优势:

  1. 整合生成式AI技术为参考资源生成多样性组合。
  2. 使用草图而非完成图，避免过度详细输出对用户形成创作上的限制。
  3. 提供用户友好的界面，让关键词与布局的动态交互成为创意激发的核心流程。

• 实验或评估结果: 用户研究（N=16）表明，CreativeConnect比基准系统在发现参考元素和生成多样创意方面有显著优势。参与者更愿意尝试系统建议的组合选项，并基于草图结果添加个人创意。

• 局限性与未来方向:

  1. 现有研究仅针对初学设计者，未来可扩展到专业设计场景或不同设计领域。
  2. 支持不同创意阶段（从探索到实施）的功能仍需进一步优化。
  3. 时间较短的实验限制了对长期设计行为的观察，应在真实世界项目中验证工具的长期效能。