STREAM：探索空间感知平板电脑与增强现实头戴显示器结合用于沉浸式分析

文献标题

STREAM: Exploring the Combination of Spatially-Aware Tablets with Augmented Reality Head-Mounted Displays for Immersive Analytics

文献信息

• 主题领域: 增强现实技术和交互可视化的数据分析（沉浸式分析）
• 关键词: 增强现实, 沉浸式分析, 多模态交互, 移动设备, 数据可视化

研究背景与问题

• 发现的主要问题或挑战
  • 增强现实头戴式显示器（AR HMD）广泛应用于沉浸式数据分析，但其默认的空中手势交互存在精准性不足、易疲劳和不可靠等问题。
  • 传统移动设备的触摸交互精准度更高，但局限于二维（2D）输入，无法提供三维（3D）交互支持。
• 为什么重要
  • 解决这些问题有助于提升3D数据可视化的交互体验，支持用户进行更高效、更直观的复杂数据分析。
  • 将空间感知平板（具有空间位置感知能力的平板）与AR HMD结合，可能为多模态交互提供新的可能性，提高用户体验。
• 研究动机与相关工作
  • 现有研究主要集中在混合用户界面和多种设备的结合使用上，但多数仍缺乏AR和触摸设备之间无缝集成的交互设计。
  • 多模态技术（如触摸、语音）在扩展信息可视化交互方式方面已有显著优势，亟需进一步探索其在AR环境中的应用。

解决方案

• 方法或解决方案
  • 提出了STREAM（Spatially-aware Tablets combined with Augmented Reality Head-Mounted Displays）系统，结合AR HMD和空间感知平板，用于支持与3D数据可视化的多模态交互。
  • 开发了一种新的“无眼交互（eyes-free interaction）”概念，让用户无需频繁切换不同的输出界面。
• 创新之处
  • 提供了AR环境与平板界面之间的无缝交互过渡。
  • 将空间感知平板的触摸输入与AR HMD的视点导航和3D布局操作相结合。
  • 引入了基于平板直接交互的空间触发器和动态视图切换功能（如“平板透镜”）。
• 实施步骤与关键技术
  • 使用3D平行坐标可视化展示多维数据，结合2D散点图输入输出。
  • 提供触摸菜单、语音输入和视角选择等交互方式。
  • 通过用户头戴设备的注视点选择对象，通过平板触摸控制进一步操作。

研究成果

• 具体成果
  • STREAM成功实现了多模态交互方案，用户对其可用性和灵活性给予了积极反馈。
  • 系统支持用户进行熟悉的2D交互（如散点图操作），同时利用平板的空间感知进行3D交互。
  • 引入的无眼交互系统显著减少了用户在触摸屏和平板间的切换成本。
• 与现有解决方案的比较
  • 相较于传统AR空中手势，STREAM通过平板触摸提高了输入效率与交互精确度。
  • 提供了比现有平板或智能手机更高灵活性和移动性的交互体验。
• 实验或评估结果
  • 在用户研究中，量化与质化数据表明，多数用户认为STREAM提供了直观的操作体验，虽然需要一定的学习曲线。
  • 用户普遍对散点图的二维交互、3D对象布局排布功能表示认可。
  • 物理设备（如平板）重量被少部分用户认为是潜在的限制因素。
• 局限性与未来方向
  • 存在硬件局限，如较重的平板装置和有限的AR视场导致的疲劳和使用时长限制。
  • 未来需要进一步研究不同空间动作交互方式的准确性和用户舒适性。
  • 更细粒度的协作场景（如异步多用户或同屏）仍需深入探索。