Spellburst：用于探索性创意编程的基于节点的自然语言提示界面

文献标题

Spellburst: A Node-based Interface for Exploratory Creative Coding with Natural Language Prompts

文献信息

• 主题领域: 人机交互、计算生成艺术、创意编程工具
• 关键词: 大型语言模型, 探索性编程, 创意编程, 生成艺术, 提示工程, 语义与句法空间

研究背景与问题

• 问题与挑战:

  1. 创意编程任务往往是探索性的，艺术家在转化语义意图到编程语法时存在困难。
  2. 当前的编程工具缺乏对于快速迭代和生成艺术探索的支持。
  3. 现有的版本控制系统操作复杂，难以满足艺术家迭代试验快速产生多个版本的需求。
  4. 对比运行不同代码版本或输出结果困难，且工具通常与编程环境脱节。
  5. 使用自然语言提示生成代码的生成式AI虽然强大，但在细粒度调整时往往繁琐。

• 研究的重要性: 创意编程对产生艺术创作至关重要，但需要工具能高效地支持快速的语义和句法探索，促进艺术家的创意迭代和灵感生成。研究如何设计可为艺术家提供更多灵活性和支持的现代创意工具，具有显著意义。

• 研究动机与相关工作: 作者基于对创意编程的特性（如语义与句法的桥接）和相关工具（如版本控制）的局限性，通过文献回顾、艺术家访谈等方法，确定了当前工具在支持生成艺术探索性、记录历史版本与快速迭代方面的不足。

解决方案

• 方法与解决方案:

  1. 提出了一款名为 Spellburst 的探索性创意编程工具，该工具结合了节点式界面和自然语言提示生成代码。
  2. 工具具有以下核心功能：
     • 节点式接口: 以树状结构呈现创作路径，每个节点可表示生成的草图或代码。
     • 自然语言交互: 借助大型语言模型实现语义层级的编程快速跳跃。
     • 动态语义驱动界面: 提供参数调节滑块，支持细粒度调整。
     • 版本管理功能: 无缝记录与可视化探索历史，框架清晰直观。

• 创新之处:

  • 将生成式大型语言模型引入到创意艺术编程中，将语义操作和程序语法操作整合。
  • 在创意工具中首次实现基于AI的自动“语义合并”代码功能，可以结合多条创作路径的特性。
  • 基于提示工程的自然语言生成支持了语义和句法的灵活转换。
  • 提出了动态、非线性的视觉布局，摆脱了传统“线性-并行”的分支布局设计方法。

• 实施步骤与关键技术:

  • 系统架构结合了React在线编辑库、d3.js层次树图可视化、以及基于OpenAI的API调用。
  • 使用精心设计的提示模板与附加约束指导ChatGPT生成代码及自动完成功能。
  • 开发了语义参数映射和“语义-句法”交互优化技术来实现实时调整。
  • 测试方案：对比已有工具、专家测试以及用户调查。

研究成果

• 具体成果:

  1. 实现了Spellburst的完整原型，并通过用户测试初探其效果和用户体验。
  2. 用户能够通过Spellburst轻松地执行大幅创意跃迁（如直接提通过自然语言生成新形式的艺术草图）和小幅语法细节优化。
  3. 参与者普遍认为，Spellburst非常适合快速生成艺术原型，帮助理解不同探索方向的可能性。

• 与现有解决方案的比较:

  1. 与终端版的ChatGPT或Git等版本控制工具相比，Spellburst允许艺术家以高度可视化、非线性方式组织并追踪每次探索结果。
  2. Spellburst使AI生成与艺术家试验的合成更轻松，同时提供了语法级的更多控制。

• 实验或评估结果:

  • 导入了10+名经验丰富的艺术家进行测试，结果显示，参与者能够从Spellburst获得显著的探索灵感和提高工作效率。
  • 用户赞赏Spellburst在自然语言提示后的可视化“历史树”、动态滑块设置和多样化生成结果。
  • 在认知负荷评价（NASA-TLX）中，用户认为界面物理负担较低，心理需求则偏高（需要更多熟悉度）。

• 局限性与未来方向:

  1. Spellburst目前生成的代码偶尔存在运行问题，需要用户手动调试。
  2. 一些用户希望能够在视觉界面中过滤非重要节点，减少“加载超载”。
  3. 全球广泛样本与复杂性场景测试仍需后续努力，以提高可靠性和多样性。
  4. 对于跨团队合作、长时间调试与艺术家多个共同创作场景，未来研究需要深入探讨可视化扩展的设计。