FusAIn: 使用笔势交互组合生成式AI视觉提示

研究背景与问题

• 发现的问题或挑战：尽管当前生成式人工智能（GenAI）在图像生成方面具有强大功能，但其主要依托文本输入和全图像交互，限制了设计师与视觉材料的创造性互动。表达微妙的设计意图和用现有GenAI工具创建专业设计资产面临挑战。
• 重要性：这些问题阻碍了GenAI在专业设计实践中的更广泛应用，导致设计师难以全面控制生成结果。设计师需要精细化控制和可编辑性以确保内容与设计意图一致。
• 研究动机与相关工作：先前研究强调了为设计师提供更可控和表达性的交互的必要性，但当前工具分散，缺乏统一过程支持。此外，大量工作探讨了文本到图像生成中的工程和效果优化，但缺乏对基于视觉的生成输入的集中探索。

解决方案

• 提出的方法/解决方案：
  • 引入一种基于“智能”笔概念的生成式AI视觉提示工具FusAIn。
  • 允许设计师通过笔交互提取对象、颜色和纹理等视觉属性，并基于这些属性组成用户定义的视觉提示。
  • 提供局部和整体生成模式，同时支持对生成内容的重编辑。
• 创新之处：
  • 构建了“智能笔”这一新的交互机制，将设计意图与AI生成结合。
  • 打破文本在生成式AI输入中的主导地位，提出了基于笔的视觉“组合作为提示”的新交互范式。
  • 强调设计材料的分解与重构（Deconstruction and Reconstruction），使生成结果更可控、可编辑。
• 实施步骤与技术：
  1. 工具设计与技术实现：
     • 开发了FusAIn工具的用户界面和笔功能模块，包括对象笔、颜色笔和纹理笔等。
     • 整合Stable Diffusion生成模型和ControlNet技术以支持视觉属性的精细控制。
  2. 交互支持：
     • 使用笔进行不同属性的提取与应用，如颜色拾取、纹理叠加和对象操作。
     • 在局部（基于选择的区域）和全局（整幅画布）两种生成模式之间切换。
  3. 用户反馈：
     • 构建界面组件如画布、加载工具、编辑面板、风格锁定等，确保设计师能在整个过程中迭代设计。

研究成果

• 具体成果：
  • FusAIn改进了设计师在不同层级定义视觉细节的能力，提供精细化控制以提高生成图像的编辑性和重复使用性。
  • 引入的“智能笔”使用户可以轻松操作复杂的视觉细节，贴近设计师的工作习惯。
• 与现有解决方案的优势：
  • 相较于依赖文本提示的传统AI工具（如Adobe Firefly），FusAIn通过显示尺寸的画布和完善的笔交互功能，实现了更高的意图对齐度和可控性。
  • 视觉提示交互显著降低了误操作的可能性（如错用图层问题），同时激发了设计师的创造力。
• 实验或评估结果：
  • 用户研究：与12位有专业背景的设计师合作进行对比实验，证明FusAIn显著提升了表达复杂视觉细节和匹配设计意图的能力。
    • 75%以上的用户更倾向于用FusAIn进行视觉创作。
    • 参与者认为笔交互提供了高精度且直观的视觉表达方式，不受语言限制。
  • 定性反馈：参与设计者更能感受到对生成过程的控制，认为系统更适合创意驱动的任务，比如从草稿到成品设计。
• 局限性与未来方向：
  • 局限性：生成图像的细节质量有待提升；用户实验时间有限可能未覆盖所有功能；模型参数固定可能未在所有任务中表现最佳。
  • 未来方向：
    • 探讨如何在建筑、时尚等复杂领域扩展“智能笔”的应用。
    • 引入更复杂的视觉属性（如环境或氛围）交互以扩展设计范围。
    • 针对不同经验水平用户的需求优化“智能笔”应用。

通过这项研究，FusAIn揭示了可视化生成式AI输入的潜力，为设计师提供了一种直观、精确且支持创意迭代的交互形式，对未来生成式AI工具设计具有重要启示。