PlayWrite：一个在XR中通过游戏支持AI叙事协作创作的多模态系统

文献标题

PlayWrite: A Multimodal System for AI Supported Narrative Co-Authoring Through Play in XR

出版信息

• 主题领域: 混合现实（XR）系统中的AI辅助叙事创作。
• 关键词: AI叙事, 混合现实, 共创系统, 故事生成, 具身交互, 基于游戏的创作, 多模态输入, 即兴创作, 意图框架（Intent Frames）, 故事组装。

背景与问题

• 问题 / 挑战: 现有的AI写作工具主要依赖文本提示，这种方式难以支持叙事中空间性、交互性和即兴性的特点。目前的系统缺乏将具身交互和AI生成叙事的迭代编辑相结合的机制。
• 重要性: 解决这一问题可以实现更直观、有趣且富有表现力的叙事创作过程，尤其对那些以视觉和空间思维为主的创作者（如爱好者、教育者和表演者）尤为重要。
• 动机与相关工作: 先前的研究探索了基于文本的叙事生成和视觉创作工具，但大多忽略了具身交互和游戏作为叙事的核心模式。诸如 Toyteller 和 Narratron 等系统展示了符号化游戏和多模态输入的潜力，但在空间和交互的语境化方面仍存在局限。

解决方案

• 提出的方法: PlayWrite 是一个混合现实系统，用户通过操控虚拟角色和道具、布置场景以及进行对话来创作故事。系统将这些交互解释为结构化的叙事单元（Intent Frames），并以 Story Marbles 的形式可视化，供用户组装和优化。
• 创新点:
  1. 一个以游戏、直接操控和语音交互为核心的混合现实叙事系统。
  2. 引入 Intent Frames，将用户行为转化为语义化、AI可读的叙事元素。
  3. 采用多代理架构（环境代理、社交代理、叙述代理和意图框架代理）来解释具身表演并生成连贯的叙事。
• 流程与关键技术:
  1. 用户通过手势、动作和语音在XR环境中与角色和道具互动。
  2. 多代理管道观察并将这些交互解释为 Intent Frames。
  3. Intent Frames 被可视化为 Story Marbles，用户可以在时间轴上重新排列以优化叙事。
  4. 系统根据组装好的 Story Marbles 生成故事摘要或剧本。

结果

• 具体发现:
  • 在创意支持指数（CSI）中，表达性得分高（M=6.35），愉悦性得分高（M=6.15）。
  • 参与者高度认可系统促进即兴创作和游戏性的能力，并强烈同意系统鼓励了实验性（M=6.46）。
  • 对控制性的评分较低（M=3.92），反映了在实现精确叙事方向上的挑战。
• 相较基线的优势:
  • PlayWrite 实现了具身、多模态的叙事创作，超越了以文本为基础的系统，通过整合空间操控和实时对话提供了更丰富的创作体验。
  • 参与者表示系统支持发散性思维，减少了创作障碍，并鼓励了即兴创作。
• 实验 / 评估:
  • 对13名来自不同写作背景的参与者（N=13）进行用户研究，涉及XR中的封闭式和开放式叙事任务。
  • 参与者与预先创作的场景（如 阿拉丁 和 罗宾汉）互动，审阅并重新排列 Story Marbles，并通过问卷和访谈对系统进行评估。
  • 收集了定量和定性数据，包括CSI评分、任务后调查和参与者反馈的主题分析。
• 局限性与未来工作:
  • 对于精确叙事控制和故事组装的整体连贯性支持有限。
  • 研究任务使用了熟悉的故事世界，可能导致AI响应偏向于经典行为。
  • 未来工作可探索可定制资产、微调AI模型，以及针对不同用户偏好的自适应主动性水平。

总结

PlayWrite 通过在混合现实环境中以游戏、直接操控和多模态交互为核心，提出了一种AI辅助叙事创作的新方法。系统的多代理管道将用户行为解释为结构化叙事单元（Intent Frames），并以 Story Marbles 的形式可视化供组装和优化。一项用户研究表明，PlayWrite 提供了一种愉悦、富有表现力且即兴的叙事创作体验，但在平衡游戏性探索与精确叙事控制方面仍存在挑战。该研究验证了游戏作为共创系统设计视角的价值，为直观且协作性的人机创意提供了新路径。