XCreation：基于图的跨模态生成式创意支持工具

文献标题

XCreation: A Graph-Based Crossmodal Generative Creativity Support Tool

文献信息

• 主题领域: 人机交互与跨模态创意支持工具
• 关键词: 创意支持工具, 跨模态, 图结构, 生成式人工智能, 文本到图像生成, 可控生成, 图解释性

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 现有的大多数创意支持工具（CSTs）仅支持单一模态（例如仅支持文本或图像创作），而跨模态的创意支持尚未被充分探索。
  • 基于生成式人工智能的CST工具通常具有“黑箱”属性，用户难以理解生成过程，降低了可控性和解释性。
  • 多模态创作中的复杂内容生成（如涉及多个实体的图像生成）面临质量下降和局限。

• 为什么这个问题很重要？

  • 跨模态能力能够更有效激发用户的大脑思维，增强创意活动。
  • 文本与图像的结合能够为用户提供前所未有的创造力，且适用于多个应用场景（例如故事书的创建、交互式故事画创作）。

• 研究动机与相关工作

  • 之前的研究表明多模态创意工具可增强用户的创意过程，且理论上验证跨模态工具的价值。
  • 从神经科学角度看，跨模态能力促进大脑左右半球协作，激发更多创意可能性。
  • 图表化的实体-关系表示能够带来更好的用户可控性和逻辑性。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了跨模态创意支持工具 XCreation，结合生成式人工智能，支持从文本到图像、图到文本等多模态转化过程。
  • 使用可解释的实体-关系图（Entity-Relation Graph）来直观地表示图像中的元素及其关系，改善生成过程的可控性和透明度。
  • 提供一个进阶的多模态创作界面，包括文本、图表与手绘功能。

• 该解决方案的创新之处是什么？

  • 通过引入图结构，支持用户分解复杂创意为原子元素，逐步扩充创意。
  • 图作为中间表示，能够轻松切换模态并实现高效的创意传递。
  • 提供细粒度元素控制（例如修改图像中的某一对象而不影响其他元素）。

• 实施步骤是什么？使用了哪些关键技术？

  1. 文本输入: 用户输入故事情节，系统通过自然语言处理工具（如SpaCy和GPT-3）提取实体和关系，并生成对应的图结构和初步图像。
  2. 图表编辑: 用户可通过拖拽或调整图表内容，增删节点和边，同时生成图像元素。
  3. 图到文本: 基于图生成自然语言句子（文本增强功能由GPT-3提供支持）。
  4. 手绘输入: 用户自定义绘制元素，将手绘内容转化为图表节点。
  5. 最终生成: 根据用户布局的图标画布，通过生成式AI模型（如DALL-E 2）生成完整图像。

研究成果

• 取得了哪些具体成果？

  • 用户研究表明 XCreation 能有效增强故事创作的创意性、可控性和解释性。
  • 与单模态基线工具相比，XCreation显著提高创作效率，并支持更高度的可控性。
  • 图结构的引入显著增强了用户创作过程的逻辑连贯性，并鼓励用户分解创意。

• 与现有解决方案相比，它有哪些优势？

  • 支持更自然的跨模态切换流程。
  • 图表界面促进创意表达并提高复杂内容生成的质量。
  • 将生成式AI与图表化方法相结合，使创作过程更直观且透明。

• 实验或评估结果是什么？

  • 用户对 XCreation 的系统使用满意度得分（SUS）：85.5分，表明用户普遍认可其优异的可用性。
  • 定量结果显示XCreation在创意表达、可调性和多模态切换方面均优于基线工具（AI-Storyteller和DALL-E 2）。
  • 实验任务涵盖封闭式创作、重新创作及开放式创作，表现出一致的优势。

• 局限性与未来方向

  • 局限性:

    • 节点布局完全依赖人工调整，可能增加用户的认知负荷。
    • 图表与图像生成的关联仍处于节点层级，未能支持直接基于边对内容进行生成。
    • 长逻辑故事及视觉资源的易用性仍有待提高。

  • 未来方向:

    • 增加自动布局功能，通过图论算法减少用户时间投入。
    • 拓展支持视频动画生成，提供更生动的数字故事模式。
    • 支持更多模态（如音乐或声音）集成，进一步推广多模态创作可能性。
    • 开发跨模态内容商业模板，提升实际应用价值。

XCreation 为创意支持工具打造了一种高效且透明的范式，同时为人机交互和生成式AI在创意领域的创新提供了宝贵的设计思路。