故事讲述：将动画与物理移动结合以探索沉浸式数据故事

研究背景与问题

发现的问题或挑战

• Narrative visualization技术常被用于结合数据可视化和故事讲述以向观众传递信息。然而，大多数此类技术都局限于传统的屏幕展示环境（例如桌面界面中的“scrollytelling”技术）。
• 虽然虚拟现实（VR）中的虚拟漫游技术使用户能够探索沉浸式数据故事，但研究表明，物理漫游在沉浸式体验方面具有潜在的优势。
• 当前的设计框架对如何将物理运动与数据故事的动画进度相结合缺乏支持。

重要性

• 沉浸式数据故事讲述可通过情感和认知投入增强观众的理解和信息保留能力。
• 在沉浸式环境中结合物理运动不仅可能提高用户的参与度，还可能改善信息记忆的效果，同时减轻模拟器病（cybersickness）。

研究动机与相关工作

• 作者希望通过新技术来扩展传统的“scrollytelling”技术，将其应用于沉浸式环境。
• 提出的“strollytelling（漫步式讲故事）”技术受到传统网页滚动讲述技术以及物理漫游的好处（如高沉浸度）的启发。
• 相关领域研究包括叙事可视化、VR中的故事讲述技术以及基于行动的认知理论，该理论强调身体运动在信息处理中的重要作用。

解决方案

提出的方法或解决方案

• 作者提出了“strollytelling”技术，这是一种用于沉浸式数据故事的新型讲述方法，将用户的物理运动与故事的动画进程紧密结合。
• 动画的播放由用户在物理空间中的位置触发，从而实现视觉化内容在用户移动过程中的动态展现。
• 提供详细设计考虑，如物理空间与虚拟空间的映射、数据故事点的安排和视觉布局方式。

解决方案的创新之处

• 通过用户的当前位置控制动画帧，实现物理空间和虚拟环境的深入结合。
• 引入暂停点（pause points），用户可以在特定位置停下来仔细观察和互动，从而增强沉浸感。
• 在沉浸式数据故事领域引入了新的设计空间和框架，结合运动和视觉效果以提高认知和体验质量。

实施步骤与关键技术

• 定义关键设计要素，例如“漫步路径”（strolly path）、数据故事点、动画和暂停点。
• 开发技术算法，计算用户与虚拟环境中最近的路径段的距离并据此调整动画。
• 提供迭代设计过程，包括数据故事的选择与改编、物理与虚拟布局的规划、数据点的动画化及虚拟环境的开发。

研究成果

具体成果

• 设计验证：作者通过设计布局和用户实验验证了“strollytelling”的效果。
• 用户实验：共26名参与者完成了实验，测试包括两种条件（物理漫游与虚拟漫游）下的数据记忆、参与感（沉浸度）、代理感（sense of agency）等。
• 实验结果表明，大多数参与者更喜欢“strollytelling”，并报告了更高的沉浸感和体验质量。

与现有解决方案相比的优势

• 与传统虚拟漫游技术相比，“strollytelling”通过物理漫游提高了用户的沉浸感。
• 参与者的交互感和对于数据故事的控制能力显著增强，符合叙事交互的目标。
• 模拟器病（cybersickness）明显减少，同时体验更加自然。

实验或评估结果

• 定量结果：
  • 在沉浸度方面，“strollytelling”评分显著高于虚拟漫游（P值=0.016）。
  • 参与者的总体偏好中，17/26人更喜欢“strollytelling”。
  • 回忆测试（recall）和代理感未显示显著差异。
  • 模拟器病评分在两种条件下无显著统计差异。
• 定性反馈：
  • 参与者认为物理运动与动画的映射极大地提升了体验。
  • 虚拟环境和音效帮助增强了讲故事的沉浸感。

局限性与未来方向

• 实验空间的物理限制可能限制了用户的体验和结果的适用性。
• 数据故事点之间的距离和数量受到物理空间大小的约束。
• 实验组主要由一所大学的学生组成，可能不具有广泛的社会代表性。
• 未来工作：
  • 探索使用走步机或优化技术以缓解空间限制问题。
  • 考察不同数据故事结构（如分支路径）的影响。
  • 扩展实验至更广泛且多样化的参与者组，包括非行动人口。
  • 开发“自适应漫步讲述”（adaptive strollytelling），以便依据物理空间动态调整故事内容。

总体而言，本文提出的“strollytelling”技术在沉浸式数据故事领域具有突破性意义，开创了结合物理运动与数据讲述的新维度，为教育、博物馆设计以及新闻传播等领域的应用带来广阔的前景。