PromptPaint：通过类似绘画媒介的交互引导文本到图像生成

文献标题

PromptPaint: Steering Text-to-Image Generation Through Paint Medium-like Interactions

文献信息

• 主题领域: 人机交互, 文本到图像生成模型, 人工智能驱动的交互设计
• 关键词: 文本到图像生成, 生成式模型, 人机交互, 图画交互, 生成艺术, 图像编辑, 扩散模型, 模型指导, 遍历语义空间

研究背景与问题

• 问题与挑战:

  • 基于扩散的文本到图像（T2I）模型在生成高质量图像方面很强大，但难以通过语言进行有效的控制和迭代。
  • 用户在描述复杂或难以表达的艺术概念时往往会遇到困难。
  • 现有T2I系统大多是端到端的生成方式，缺乏用于逐步塑造创作的灵活交互工具。
  • 用户希望能够使用混合风格、逐步调整等功能，而非单一的语言描述。
  • 生成模型的随机性和复杂性有时会造成用户目标和最终输出的偏差。

• 研究的重要性:

  • 在创意过程中融入更好的交互方式，可以帮助用户更有成效地表达自我意图，并逐步打造符合预期的艺术作品。
  • 拓展T2I技术的应用，使其从“黑箱式”生成（仅输入提示语）转变为更加透明和可控的工具。

• 研究动机与相关工作:

  • 相关工作为艺术创作的各个方面提供了技术支持，如图像编辑与丰富的交互控制，但大多数研究仍主要偏向对技术特性的增强，而非交互模型设计。
  • 通过类绘画方法模拟艺术创作的互动特性，从而增强生成图像的控制能力，这为解决现有系统的交互局限提供了新思路。

解决方案

• 提出的解决方案:

  • 提出了一种名为 PromptPaint 的工具，为基于扩散模型的T2I模型提供类绘画交互方式。
  • 用户不仅可以使用语言提示，还可以通过“调色盘”式交互，将不同的提示语（prompt）混合，或者在生成过程中灵活地调整提示内容。

• 创新之处:

  • 通过“语义调色盘”（prompt mixing）的方式在向量空间中混合语义，模拟颜色混合，提供用户更大自由度探索语义之间的过渡。
  • 引入“方向性提示语”（directional prompt），允许添加特定视觉特性的变化，比如颜色强度和风格调整。
  • 打破端到端生成的局限性，允许在生成过程中灵活插入或调整提示语（prompt intervention）。
  • 支持通过“提示语模板”（prompt stencil）对画布的局部区域生成视觉内容，使用户能够逐步分部分生成和修改艺术作品。

• 实施步骤与技术:

  1. Prompt Mixing: 将离散提示语（如两种风格）在调色盘上进行插值，允许用户探索各语义间的过渡。
  2. Directional Prompt: 提供增加额外属性的方向向量（如风格从“现代”逐渐过渡到“印象派”）。
  3. Prompt Stencil: 用户选择画布上的生成区域并调整“覆盖度”，实现对已有图像的叠加生成或修改。
  4. Prompt Intervention: 在生成图像的过程中动态调整提示语，调节图像的概念方向。

• 关键技术:

  • 基于扩散模型（如Stable Diffusion），结合空间向量插值与特性控制技术实现语义混合与精细化调整。
  • 引入了多层图层控制、实时生成反馈、带噪图像显示等功能。

研究成果

• 具体成果:

  • 提供了一种新型交互方式（PromptPaint），能够有效地帮助用户通过类似调色和逐层涂色的自然方法创建原创视觉作品。
  • 系统帮助不同用户（从视觉艺术爱好者到新手）更直观地理解和控制AI生成内容。
  • 对比实验表明PromptPaint提供的混合方式（如prompt mixing, stencil等）比传统的语句直接拼接更具灵活性和表现力。

• 实验与用户研究:

  • 实验分析了提示语混合技术的表达能力，衡量了添加新视觉特性时对原特性保持和差异性调整的表现。
  • 用户研究显示，交互型工具有助于增强对生成结果的心理归属感和控制感，但仍需平衡自动化和手动化操作之间的用户偏好。

• 局限性与未来方向:

  • 局限性:
    • T2I模型生成内容的随机性和复杂性容易导致用户意图和真实输出的不一致。
    • 现有系统未引入更多样性的数据生成控制方式，例如负提示控制（negative prompts）。
  • 未来方向:
    • 扩展PromptPaint至更多的生成场景（如3D模型或视频生成）。
    • 改进用户界面，使中间生成结果更直观易懂。
    • 探索AI合作式创作工具如何增强用户对生成内容的归属感与合法性权利的管理。