拼图：使用增强现实和物联网创作沉浸式叙事体验

文献标题

Jigsaw: Authoring Immersive Storytelling Experiences with Augmented Reality and Internet of Things

文献信息

• 主题领域: 增强现实与物联网结合的沉浸式叙事体验设计与创作
• 关键词: 故事创作, 增强现实 (AR), 物联网 (IoT), 作者工具, 沉浸式体验, 用户参与, 多感官互动, 交互设计, 数字叙事, 创意工具

研究背景与问题

• 问题或挑战:

  • 当前增强现实 (AR) 基于视觉呈现的沉浸感有限，仅限于屏幕上的 3D 图像。
  • 制作多感官融合的沉浸式叙事通常需要高昂的成本、复杂的技术和专业化的设备部署，对普通用户并不友好。
  • 尝试将虚拟内容（"像素"）和物理增强（"原子"）结合的系统较少，且现有工具通常对用户创建体验能力要求较高，不适合技术小白。

• 重要性:

  • 沉浸式叙事能够提升故事表达的情感传达力和用户的参与感，具有重要的应用价值，如教育、娱乐和社交场景。
  • 将 AR 与 IoT 融合，可以在移动设备和日常智能家居设施的支持下，实现更加普遍化且低成本的沉浸式体验。

• 研究动机与相关工作:

  • 受经典互动体验（如 4D 影院和参与式戏剧）的启发，研究团队希望通过协调移动 AR 和 IoT 技术，开发一种用户友好的讲故事系统。
  • 之前的研究主要集中于单一类型的增强设备（如投影、VR或 IoT）, 但尚未结合虚拟与物理增强以支持全面的沉浸式叙事。

解决方案

• 提出的系统:

  • Jigsaw：一个允许普通用户通过移动 AR 和现成 IoT 设备，体验并创作多感官沉浸式故事的系统。

• 创新之处:

  1. 虚实融合：打破仅视觉增强的限制，通过结合 IoT 物理设备（如智能灯光、风扇和扬声器），创造"像素与原子"融合的多感官叙事体验。
  2. 简化创作：面向技术小白，提供类幻灯片式的场景序列编辑工具，支持用户通过关键词触发和触摸交互定义复杂的故事序列。
  3. 多角色互动：分配多用户不同角色（讲述者、演员、观众），实现个性化沉浸体验。

• 实施步骤与关键技术:

  1. 沉浸式故事设计:
     • 系统通过逐场景的方式，结合 AR 和 IoT 美术效果及触发表现，创建故事体验。
     • 示例故事包括：班杰明·富兰克林的风筝实验、《风与太阳》的寓言故事和童话《晚安，月亮》。
  2. 用户创作者工具:
     • 支持定义“行为”（虚拟物体或 IoT 设备的状态）、“场景”（每个故事片段）和“触发器”（控制从当前场景到下一场景的转变，如关键词识别、触摸或屏幕点击）。
     • 提供驾驶舱式的直观界面，允许用户直接在 AR 场景中调整物体的相对位置、行为和效果。
  3. 实现细节:
     • 使用 Lens Studio 等现成开发工具实现 AR 追踪、多用户协作和基础音频控制。
     • 通过 Kasa 智能设备 API 和蓝牙模块与智能家居设备交互。

研究成果

• 具体成果:

  1. 设计并实现了 Jigsaw 的沉浸式叙事以及创作者工具。
  2. 创建了三种代表性沉浸故事，说明虚拟与物理增强结合的潜力。
  3. 通过用户研究验证了 Jigsaw 的可用性与用户友好性。

• 与现有解决方案的优势:

  • 以通用的 IoT 设备（而非自定义硬件或昂贵设备）实现多感官浸入。
  • 降低创作门槛，使技术门槛较低的普通用户也能构建复杂的互动叙事。
  • 强化了虚拟视觉增强与物理环境效果协同作用，提供更完整的沉浸感。

• 实验/评估结果:

  • 沉浸体验：20 名来自技术公司（非专业用户）的参与者分成 10 组，认为 Jigsaw 提供了更具吸引力、互动性和记忆点的故事体验。
  • 用户创作反馈：尽管面对一些复杂行为（如特定动画效果设置）的限制，所有参与者都能顺利完成故事创作任务，对工具的易用性和灵活性表示肯定。
  • 挑战：
    • 需要更好地协调多感官输入以减少参与式体验中的感官过载。
    • 长篇故事会遇到导航复杂性和重复性设计的协作难题。

• 局限性与未来方向:

  1. 目前支持的设备类型较少，仅包括智能灯光、风扇和扬声器，下一步应探索机器人、投影仪等更多类型的设备。
  2. 用户研究主要集中在成年技术用户，未来应关注儿童等重要故事目标群体的体验。
  3. 针对复杂动作和动画的情景设计仍需进一步优化，可以探索利用 AI 技术进行语境生成。