视觉概念的创意融合

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 视觉融合是一种强大的设计与表达手段，通过合并两个不同视觉概念的元素来传递抽象的思想。然而，设计有效且具有视觉吸引力的视觉融合面临着诸多挑战，包括如何选择合适的元素、确保融合过程中的和谐性，以及将抽象概念转化为具体的视觉表现。
  • 当前的人工智能驱动图像生成技术虽然能够从文本生成图像，但在处理抽象描述时存在局限，经常生成失真或文本不合理的结果。同时，与抽象概念相关的跨模态关系尚未充分探索。

• 为什么这个问题很重要？

  • 在设计领域，视觉融合不仅能够有效吸引受众，还可以通过可视化方式传递复杂和抽象的概念。这种方法在广告、数据可视化和艺术创作中具有广泛的应用价值，而设计出好的视觉融合作品往往是一个费时且技术复杂的过程。
  • 对抽象概念进行视觉化的能力，可以极大地扩展设计的可能性并提升创造力，尤其是在人工智能技术的支持下。

• 研究动机与相关工作

  • 先前研究强调了视觉融合和意象隐喻在创意表达中的重要性，但当前的方法主要聚焦于局部形状的结合或单一解析方式，未能充分探索多元素融合的潜力，也缺乏系统性工具来支持设计师在处理视觉隐喻时的创意过程。
  • 本研究提出了一种结合隐喻理论与人工智能能力的方法，以生成具有抽象表达和视觉吸引力的融合作品。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一个名为“Creative Blends”的AI辅助设计系统，用于通过隐喻连接抽象概念和具体对象。
  • 系统采用了一种多阶段的管道设计，包括抽象词义分析、相关对象识别以及基于对象和属性相似性的融合方案生成。随后通过生成式文本-图像技术实现视觉融合。

• 该解决方案的创新之处是什么？

  • 将隐喻理论与常识知识库结合，用于探索对象及其属性之间的关联。
  • 提供一种基于相似度和情感得分的分析方法，辅助设计师灵活选择多个视觉融合方案。
  • 支持快速生成多样化的设计原型，并允许用户迭代优化。

• 实施步骤是什么？使用了哪些关键技术？

  1. 概念识别与对象枚举：利用语言模型（LLM）和知识库识别抽象概念与物理对象之间的隐喻关系，同时提取对象的属性。
  2. 相似性和情感分析：使用CLIP模型计算对象和属性的相似度，以及通过情感分析工具（DistilBERT）评估其正负情绪。
  3. 融合方案生成：系统通过预设的prompt工程生成融合建议，并输入文本到图像生成模型（如DALL·E 3）。
  4. 结果可视化与探索：在一个交互式界面上展示融合结果，并支持用户按相似性探索和比较不同设计选项。

研究成果

• 取得了哪些具体成果？

  • Creative Blends显著提高了用户在视觉融合创意阶段的效率与生成质量。同时，用户通过系统能轻松迭代探索多种设计方向。
  • 实验结果表明，与基线系统相比，Creative Blends在用户体验、创意支持、隐喻性表达等方面具有明显优势。

• 与现有解决方案相比，它有哪些优势？

  • Creative Blends扩展了视觉融合设计的范围，允许更为复杂的对象与属性组合，而非简单的形状叠加。
  • 专注于抽象概念的可视化表达，通过基于隐喻的方法弥补了现有AI生成技术因抽象描述引发的失真问题。

• 实验或评估结果是什么？

  • 用户研究：24位参与者对Creative Blends与常规AI工具（Google Search与ChatGPT结合）进行了比较，结果表明Creative Blends在系统易用性、生成结果质量、多样性、以及支持创意探索方面都显著优于基线。
  • 定量分析：
    • 在System Usability Scale (SUS)评分上，Creative Blends得分显著高于基线系统。
    • 在NASA Task Load Index评估中，Creative Blends有效降低了用户的心理负担、体力消耗和设计努力，同时提升了满意度。
    • 在Creative Support Index (CSI)调查中，用户认为Creative Blends更能促进探索、协作、过程享受和成果价值。

• 局限性与未来方向

  • 当前评估局限于设计创意阶段，未涉及设计实施或实际应用环境；未来研究可探索系统在完整设计流程中的应用。
  • 系统虽然支持多种融合方案生成，但用户对生成结果的修改能力有限；后续研究可以提升结果编辑灵活性，进一步优化试错成本。
  • 未对生成结果的风格、布局等做全面分析；未来可以研究用户参与度与生成质量之间的关系，优化prompt格式和图像生成技术。