重新提示：自动编辑提示以使AI生成的艺术作品向精确表达精炼

文献标题

RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions

文献信息

• 主题领域: 人机交互 (HCI)，文本到图像生成模型，情感表达
• 关键词: 文本到图像生成，提示工程，AI生成视觉艺术，情感表达，可解释AI

研究背景与问题

• 发现的问题或挑战:

  1. 现有文本到图像生成模型，如DALL·E 2，只能根据自由文本生成图像，但生成的图像往往无法准确表现输入文本所表达的情感或语境。
  2. 用户通常需要通过迭代试错的方式修改文本提示来提高图像输出。这种方法效率低下，且缺乏系统支持。
  3. 对于复杂的情感表达，AI生成模型的效果尚未得到充分验证。

• 为什么这个问题重要:

  1. 情感表达是人类社交和心理健康的重要方面，支持用户快速生成情感表达的内容有很大的应用前景。
  2. 提高AI生成图像的情感精准度可以帮助用户更好地通过视觉艺术进行自我表达和创造。

• 研究动机与相关工作:

  1. 科学界开始关注文本到图像生成模型的提示工程，但现有工作主要基于少量固定关键词，缺乏复杂多样的自然表达。
  2. 人类对图像情感表达的主观评价方法存在局限，研究情感对视觉艺术生成的影响是一个尚待深入探索的新领域。

解决方案

• 提出的方法或解决方案: 作者开发了一个自动化的提示编辑方法，称为 RePrompt。该方法旨在通过精炼文本提示优化生成图像的情感表达精确性。

• 创新之处:

  1. 基于用户对提示编辑的直觉策略进行设计，结合可解释AI技术训练代理模型。
  2. 提供了一套清晰的文本编辑规则（Rubric），使用户和模型能直观理解和操作。
  3. 将解释性AI技术应用于提示工程，一方面帮助AI生成更好的内容，另一方面提高人类对AI工作的可控性和理解。

• 实施步骤与关键技术:

  1. 特征选取: 提取文本中的词性（如名词、动词、形容词）以及与语境相关的直观特征，如词的具体性（concreteness）。
  2. 代理模型训练: 使用VQGAN-CLIP生成10,000张图像，通过计算图像情感匹配分数（CLIP Score）训练轻量级代理模型。
  3. 模型解释: 使用SHAP方法分析代理模型的特征贡献，生成优化的特征值范围。
  4. 提示编辑规则（Rubric）创建: 基于特征分析结果，制定为自动化编辑设计的规则，比如增删词语优化名词数量或具体性水平。
  5. 自动化提示编辑: 应用规则生成优化的文本提示，并用文本到图像生成模型生成图像。

研究成果

• 具体成果:

  1. 效果验证:
     • 提示编辑方法显著提高了图像的情感表达精确度（特别是针对负面情绪）。
     • 实现了更优的图像与文本对齐效果。
  2. 用户评价:
     • 用户评估实验显示RePrompt生成的提示能更好地促进情感表达，尤其适用于负面情绪场景。

• 与现有解决方案的比较优势:

  1. 与简单添加情感标签的方法相比，RePrompt能更显著提升图像情感表达的精准性。
  2. 不依赖复杂难以理解的特征和技术，具备更好的可解释性和用户可接受性。

• 实验或评估结果:

  1. 通过计算和用户研究对比不同条件的生成图像质量，发现RePrompt生成的图像表现优于原始提示以及其他提示工程方法。
  2. 发现两种类型的CLIP分数（文字与图像对齐、图像与情感对齐）在预测负面情绪上更显著，但对正面情绪支持较弱。

• 局限性与未来方向:

  1. 局限性:
     • 未考量整个句子结构，可能忽略特定短语的语境含义。
     • 数据和模型对正面情绪的识别能力较弱，需要设计更精确的训练数据集。
     • 使用的模型（CLIP）可能对正面情绪的建模存在偏差。
  2. 未来方向:
     • 结合其他情感检测工具或脑电等物理信号来更全面地衡量图像情感表达。
     • 针对正面情绪的更强建模和数据集扩展。
     • 将RePrompt架构应用于其他生成模型（例如音乐生成或视频生成），探索不同类型表达的提示编辑系统。

总结

RePrompt通过解释性AI和提示工程，为文本到图像生成模型提供了自动化的情感优化手段，在负面情绪表达和模型透明性方面取得重要进展，同时为进一步发展人机协作和生成式AI在心理健康的应用提供了广阔的空间。