InSituTale：通过物理对象增强增强现实数据叙事

DOI

增强现实数据叙事通过将可视化与物理环境和演示者动作集成来增强叙事传递。现有系统主要依赖身体手势或语音来控制可视化，对物理对象的交互探索不足。我们引入了增强现实物理数据叙事方法，使演示者能够通过物理对象交互来操作可视化。为了指导这一方法，我们首先对数据驱动演示进行了调查，以识别常见的可视化命令。然后，我们与九位 HCI/VIS 研究人员进行了研讨会，收集物理操作与这些命令之间的映射。受到这些见解的启发，我们开发了 InSituTale 原型，该原型结合了通过深度摄像头进行对象追踪和用于检测真实世界事件的视觉大语言模型。通过物理操作，演示者可以动态执行各种可视化命令，提供融合物理和数字元素的连贯数据叙事体验。对 12 名参与者进行的用户研究表明，InSituTale 实现了直观的交互、提供了高实用性，并促进了引人入胜的演示体验。