GenColor: 视觉设计中的生成性颜色-概念关联

研究背景与问题

• 发现的问题或挑战:
  传统的颜色与概念关联方法依赖基于查询的图像参考以及图像中的颜色提取。然而，这些方法在处理不常见的概念或情境关联时效果较差。例如，与特定风格或特定情境下语义相关的颜色往往无法准确捕捉。此外，查询到的图像容易受到图像质量、光照和样式变化的影响，从而导致颜色关联不准确或不稳定。

• 重要性:
  颜色在视觉设计中是一个强大的表达工具，通过颜色与语义的正确匹配，可以提升设计的传达效果，特别是在信息可视化和图形设计等领域，颜色关联可以提升信息分类和情感传达的有效性。

• 研究动机与相关工作:
  当前利用大规模文本语料库或图像数据库的计算方法虽能自动化生成颜色关联，但却存在语义上下文处理不足、图像参考结果不稳定的问题。同时，设计师对于上下文依赖性强的色彩组合和主次色彩搭配有更高要求。

解决方案

• 提出的方法或解决方案:
  提出了GenColor，一个结合生成式AI的框架，从由文本生成图像模型（T2I模型）生成的图像中提取语义相关的颜色。该框架分为三个阶段：

  1. 概念生成（Conceptual Instancing）: 使用Stable Diffusion生成与指定概念和情境紧密相关的图像样本。
  2. 文本引导的图像分割（Text-guided Image Segmentation）: 利用语义相关的分割技术精确提取与概念相关的图像区域。
  3. 颜色关联（Color Association）: 从分割区域中提取主色和次色组成的颜色调色板。

• 创新之处:

  1. 通过生成模型生成上下文依赖的图像，弥补了现有查询方法在稳定性和灵活性上的不足。
  2. 使用扩散模型生成高质量图像，并通过分割技术专注于图像中与概念相关的区域，提升了颜色提取的准确性。
  3. 提出了融合颜色分组和聚类的颜色提取方法，提供直观的调色板表达，其中主次颜色清晰分布。

• 实施步骤和关键技术:

  1. Prompt设计和生成策略: 构造细化的prompt（例如关联语境的描述），控制生成图片的质量和多样性。
  2. 基于GroundingDINO与SAM的分割处理: 从生成图片中精确分割与概念相关的部分，避免背景移除导致的语义偏离。
  3. 调色板生成: 通过颜色聚类技术生成调色板，并按主色置于中心，次色环绕设计，以提高设计师的直观感知。

研究成果

• 具体成果:
  GenColor框架能够生成与设计者选择一致度更高的颜色组合，尤其是在处理环境概念和情境相关的概念时表现优异。研究还提供了基础的设计师手绘地线数据集，为定量评估提供基准。

• 与现有解决方案的比较和优势:

  1. 在与设计师认知一致性方面，GenColor生成的结果比查询方法（基于照片或剪贴画）更具代表性。
  2. 在色彩差异度评价上，使用CIEDE2000评估得分显示，生成方法在上下文依赖概念上大幅优于传统查询方法。
  3. 用户调研显示，GenColor的结果在“代表性”和“喜好”两个评价维度上获得了更高的评分，尤其是在处理复杂场景时。

• 实验或评估结果:

  • 在代表性实验中，基于生成的图像与剪贴画的评分分别为4.55和4.71，高于基于查询的图像（4.61）和剪贴画（4.68）。
  • 在针对情境概念时，生成方法的颜色差异度更低（生成剪贴画CIEDE2000为13.37，低于查询剪贴画的27.08）。
  • 用户调研显示，用户对于生成的颜色在情境概念上的代表性和优选性评价始终高于传统方法。

• 局限性与未来方向:

  1. 处理抽象概念的挑战: 当前方法着重于具体概念，未来需探索对抽象概念如“希望”“恐惧”等的色彩表示。
  2. 上下文扩展: 本研究主要聚焦于条件和情感上下文，未来可探索更广泛的上下文，如观众偏好、文化背景等。
  3. 生成模型的偏见问题: 现有T2I模型可能在全球语境（如货币颜色代表）上存在偏见，需要进一步研究如何消除这些偏见以提高全球适用性。

总结

GenColor创新性地结合生成AI技术，提出并验证了一种灵活且稳健的颜色概念关联框架，对设计师工作流程提供有效支持。在未来方向上，可深入探索处理多概念和更复杂情境的能力，以及加强个性化和文化相关的色彩建议。