Storycaster：沉浸式房间式讲故事的AI系统

文献标题

Storycaster: An AI System for Immersive Room-based Storytelling

出版信息

• 主题领域: 基于生成式人工智能的物理空间沉浸式叙事
• 关键词: 沉浸式叙事, 生成式人工智能, 空间增强现实, 对象编辑, 房间尺度虚拟现实, 投影映射, 叙述代理, 多模态交互, 个性化, 用户研究

背景与问题

• 问题/挑战: 现有的洞穴自动虚拟环境（CAVE）系统和沉浸式叙事平台依赖于静态的预先创作内容，缺乏对用户物理环境的适应性，并且通常需要头戴式显示器或复杂设置。
• 意义: 需要一种可访问的动态叙事工具，使普通用户能够在自己的物理空间中创建个性化的叙事，而无需技术专长或外部设备。
• 动机与相关工作: 之前的系统如 Room Alive 和 KidsRoom 展示了沉浸式体验，但局限于预定的叙事。生成式人工智能的进步现在可以实现动态内容创作，但这些能力尚未完全整合到房间尺度的叙事系统中。Storycaster 通过结合生成式人工智能与空间增强现实，填补了这一空白，创造了适应性强、用户驱动的叙事体验。

解决方案

• 提出的方法: Storycaster 是一个由生成式人工智能驱动的 CAVE 系统，通过投影映射、语音控制的叙事共创和对象级编辑，将物理房间转化为互动叙事环境。
• 创新点:
  1. 房间尺度的视听生成: 结合生成式人工智能技术（SDXL、Depth ControlNet、圆柱形 LoRA），根据房间几何生成投影映射视觉效果和空间音频。
  2. 叙述代理: 引导用户完成三幕叙事结构，响应语音命令并实时生成视觉效果、对话和音景。
  3. 对象编辑: 使用 Grounded SAM 和 SD 1.5 修复功能，使用户能够将物理对象转化为故事中的虚拟对应物。
  4. 用户研究: 通过定性和定量方法评估 Storycaster 对沉浸感、创造力和个性化的影响。
• 流程与关键技术:
  1. 用户通过语音命令与系统交互，启动教程并共同创作三幕故事。
  2. 实时摄像头和深度传感器捕捉房间几何，生成投影映射视觉效果和对象级转换。
  3. 叙述代理协调体验，生成叙事文本、视觉效果和环境音频。
  4. 对象编辑使用户能够重新构想物理物品为故事元素，增强个性化。

结果

• 具体发现:
  • 叙述引导和空间音频是最受好评的功能，分别获得 92.3% 和 69.3% 的正面反馈。
  • 对象级编辑的反馈不一，38.5% 的用户认为它增强了体验，但 62.5% 的用户更喜欢个人物品的整合。
  • 图像生成的平均延迟为 7.3 秒，环境音频生成耗时 12 秒。
• 相较基线的优势:
  • 与之前的 CAVE 系统不同，Storycaster 根据用户输入动态生成内容，实现个性化的共创叙事。
  • 它消除了对头戴式显示器的需求，保留了用户的空间意识和物理参与感。
• 实验/评估:
  • 在一个经过校准的投影映射房间中，与 13 名参与者（平均年龄约 34.1 岁，背景多样）进行实验。
  • 混合方法分析显示高沉浸感（84.7% 正面反馈）、易用性（84.7% 正面反馈）和采用意愿（92.3% 正面反馈）。
  • 参与者强调该系统能够促进创造力、自信和情感参与。
• 局限性与未来工作:
  • 一些用户的沉浸感因视觉质量和延迟问题受到干扰。
  • 对象编辑在某些情况下缺乏一致性和清晰度。
  • 未来工作包括提高分辨率、减少延迟、增强对象编辑功能，以及探索便携式设置以扩大可访问性。

总结

Storycaster 通过整合生成式人工智能与空间增强现实，提出了一种创新的沉浸式叙事方法，将物理房间转化为互动叙事空间。该系统通过语音命令、动态视觉效果、空间音频和对象级转换使用户能够共同创作故事。用户研究显示高水平的沉浸感、创造力和个性化，但视觉质量和延迟问题仍需解决。Storycaster 是通向可访问、具身化叙事的重要一步，具有在教育、娱乐和健康领域的潜在应用价值。