HistoryPalette：支持图像生成与编辑中过往替代方案的探索与复用

文献标题

HistoryPalette: Supporting Exploration and Reuse of Past Alternatives in Image Generation and Editing

出版信息

• 主题领域: 通过历史探索和重用提升生成式图像编辑工作流程。
• 关键词: 生成式人工智能、图像编辑、历史重用、创意工作流程、语义组织、协作、修补、基于提示的生成、设计备选方案、用户研究。

背景与问题

• 问题与挑战: 当前的生成式人工智能工具缺乏有效的机制来探索和重用过去的设计备选方案，迫使创作者依赖容易出错的手动系统，如撤销/重做日志或保存单独文件。
• 重要性: 高效重用先前的备选方案可以节省时间、降低成本，并提升创意工作流程，尤其是在迭代设计任务中。
• 动机与相关研究: 之前的研究主要集中在改进提示优化和时间顺序的历史导航，但尚未解决像素级编辑工作流程中的语义组织或备选方案重用问题。本文旨在通过利用基于提示的工作流程中的语义信息填补这一空白。

解决方案

• 提出的方法: HistoryPalette，一个用于探索和重用生成式图像编辑工作流程中先前设计备选方案的系统。
• 创新点:
  1. 引入三种语义历史调色板（位置调色板、概念调色板、时间调色板）用于组织和访问备选方案。
  2. 使用视觉-语言模型的过滤机制移除不成功的生成内容。
  3. 支持协作工作流程，允许共享设计历史的探索。
  4. 集成修补和光栅化功能，实现备选方案的无缝重用。
• 流程与关键技术:
  • 备选方案根据空间位置、语义概念和创建时间进行组织。
  • 用户可以通过悬停预览备选方案，通过粘贴或光栅化进行重用，并过滤掉失败的生成内容。
  • 聚类算法将备选方案分组为概念类别，位置编码将备选方案映射到画布的特定区域。
  • 版本时间线提供对完整项目版本的访问。

结果

• 具体发现:
  • 过滤机制在识别失败生成内容方面达到了93%的准确率（86%的精确率，76%的召回率）。
  • 创意专业人士重用了38.8%的先前备选方案，而客户协作者重用了75.6%的备选方案。
  • 生成延迟平均为29.51秒，光栅化延迟平均为12.89秒。
• 相较基线的优势:
  • 语义组织（位置调色板和概念调色板）优于传统的时间顺序组织（时间调色板）。
  • 参与者认为重用比生成新备选方案更快、更可预测。
• 实验与评估:
  • 两项用户研究：一项针对三位创意专业人士（总计41年的经验），另一项针对八位客户协作者。
  • 评估指标包括交互频率、重用率和定性反馈。
  • 创意专业人士从事开放式项目，而客户协作者编辑预填充的组合内容。
• 局限性与未来工作:
  • 研究结果特定于经验丰富的设计师和开放式工作流程；需要进一步验证其在受限领域和新手用户中的适用性。
  • 当前局限包括在重用备选方案时出现的边界伪影，以及扩展到更长历史记录的挑战。
  • 未来工作包括支持直接操作工作流程、依赖关系感知的重用，以及跨项目调色板共享。

总结

HistoryPalette是一种旨在通过语义组织增强生成式图像编辑工作流程的系统，能够探索和重用过去的设计备选方案。用户研究表明，创意专业人士和客户协作者更倾向于使用HistoryPalette的“位置调色板”和“概念调色板”，而非传统的基于时间的组织方式，并认为这些调色板有助于提高效率、控制力和协作性。系统的过滤和聚类机制进一步简化了历史管理。虽然该系统在开放式创意任务中表现出色，但未来工作需要解决可扩展性、直接操作工作流程以及跨领域的广泛适用性问题。