Protosampling：通过画布驱动的视觉AI生成实现采样与原型的自由形式融合

文献标题

Protosampling: Enabling Free-Form Convergence of Sampling and Prototyping through Canvas-Driven Visual AI Generation

出版信息

• 主题领域: 创意流程中的生成式人工智能工具
• 关键词: Protosampling, 生成式人工智能, 创意, 视觉设计, 原型设计, 采样, 画布界面, 溯源, 创意工作流

背景与问题

• 问题/挑战: 当前的生成式人工智能工具要么专注于简化的基于提示的界面，要么依赖复杂的节点系统，这使得需要在控制力与表现力之间找到平衡的创意从业者难以找到合适的工具，同时也缺乏支持其创作意图的媒介。
• 重要性: 将采样与原型设计融合为一个统一的过程，对于提升创意工作流至关重要，特别是在生成式人工智能加速生成和重混媒体能力的背景下。
• 动机与相关工作: 现有系统如 MidJourney 和 ComfyUI 主要满足特定需求，但未能无缝整合采样与原型设计。情绪板和生成式人工智能界面提供了灵感，但缺乏迭代优化和整合的工具。本文基于这些系统提出了一种新方法，旨在实现采样与原型设计的融合。

解决方案

• 提出的方法: Atelier，一个类似画布的系统，旨在通过将采样与原型设计融合为一个统一的创意过程来实现 Protosampling 的操作化。
• 创新点:
  1. 将 Protosampling 定义为一种将采样与原型设计视为联合活动的视角。
  2. 设计并实现 Atelier，一个以媒体为核心的画布系统，支持生成式人工智能的视觉创作。
  3. 开发了用于生成 AI 图像和视频的抽象和工作流，增强了创意控制能力。
• 流程与关键技术:
  • 以媒体为核心的无限画布，用于排列和操作收集的和生成的素材。
  • 模块化的“画架”，封装了生成式工作流，用于绘画、描绘、修改和动画等任务。
  • 溯源工具，用于追踪素材的来源、历史和关联。
  • 组织功能，如集合、搜索和标签，用于意义建构和反思。

结果

• 具体发现:
  • 参与者使用 Atelier 创建了多样化的项目，包括电影场景、产品拍摄和动画，展示了其灵活性。
  • 研究后调查显示，与现有 AI 工具相比，用户对灵活性、控制力、表现力以及修正输出能力的满意度有所提高。
• 相较基线的优势:
  • 与基于提示的系统相比，Atelier 通过允许直接操作素材提供了更大的创意控制和自主性。
  • 与基于节点的系统相比，Atelier 提供了更易用且直观的界面，同时保留了高级功能。
• 实验/评估:
  • 进行了一项为期 4 小时的首次使用研究，参与者为 5 位创意专业人士，探索他们如何将 Atelier 应用于其工作流。
  • 参与者为各自的项目创建了画布，空间化地组织了工作区，并使用溯源工具反思了其创作过程。
• 局限性与未来工作:
  • 技术局限性包括对本地模型和硬件的依赖，可能导致内存限制和模型切换速度较慢。
  • 概念局限性包括因过度生成而导致的设计固化和饱和风险。
  • 未来工作包括探索视频生成、扩展模型灵活性，以及研究 Atelier 在创意流程中的长期使用。

总结

本文提出了 Protosampling 的概念，将采样与原型设计整合为一个统一的创意活动，并通过 Atelier 实现了其操作化。Atelier 是一个以画布为驱动的视觉 AI 生成系统，支持自由探索、模块化工作流和溯源追踪，使创意专业人士能够无缝融合思考与创作。首次使用研究表明，与现有 AI 工具相比，Atelier 能够增强创意控制、自主性和表现力。尽管在技术稳健性和概念挑战方面仍存在局限性，Atelier 代表了在生成式人工智能时代赋能创作者的重要一步。