Datamancer: 多显示器泛在分析环境中的双手势交互

研究背景与问题

• 作者发现的挑战与问题:

  1. 现有的数据可视化交互主要局限于小范围的单个设备，如个人计算机，或者需要预装庞大的仪器设备。
  2. 手势交互尚未广泛应用于多显示环境中，尤其是处理数据分析任务的全景式多显示环境中。
  3. 现有移动和穿戴设备通常需要预先空间映射，缺乏随时随地无缝交互的能力。
  4. 目前缺乏对结合身体和手势控制在跨设备环境中交互设计的深入研究。

• 重要性:

  • 随着数据可视化场景从单一桌面环境向多显示屏和增强现实等多设备环境转型，新的交互范式正变得必不可少。
  • 在数据分析、协作决策和演示场景中，能灵活、高效地在多个显示屏之间交互将进一步提高工作效率和用户满意度。

• 研究动机与相关工作:

  • 本研究基于历史发展的视频分析系统、穿戴设备和双手交互技术，结合了从“手势与语音多模态交互”到“分布式分析环境中显示获取”的多领域研究经验。
  • 作者引用了 Ubiquitous Analytics (普适分析）和 Immersive Analytics（沉浸式分析）的概念，强调了与数据环境的无缝整合。

解决方案

• 提出的解决方案:

  1. Datamancer设备: 提供融合手势操作与硬件原型的穿戴式设备，支持跨多个显示器的无缝数据交互。
  2. 三大互动模式:
     • 屏幕获取: 用户通过手部指向并选择显示屏。
     • 模式切换: 用户选择不同的交互模式（如放大/缩小、拖拽）。
     • 交互执行: 实现多种功能，如地图移动、缩放、数据筛选等。

• 创新之处:

  1. 提出了轻量级穿戴设备结合胸前手势跟踪器与指环摄像头的设计，突破传统桌面或固定显示设备的限制。
  2. 开发了完全基于网络浏览器的协作环境，使多显示器可以动态选择交互目标。
  3. 支持双手多自由度（6 Degrees of Freedom）的自然交互，相比传统交互设备更加灵活。

• 实施步骤与关键技术:

  1. 硬件设计:
     • 戴于手部的微型摄像头用于显示屏识别。
     • 胸部的Leap Motion手势追踪器用于识别双手姿势。
     • 使用Raspberry Pi 提供计算支持，结合便携式电源支持长时间使用 (~10小时)。
  2. 软件架构:
     • 以 MyWebstrates 平台为基础，通过浏览器实现跨平台可视化。
     • 数据同步采用 Automerge 的分布式网络层结构，有效实现多设备之间的实时通信。
  3. 交互设计:
     • 开发了一组常见的手势，用于支持数据交互中的操作（如选择、拖动、缩放、过滤等）。
     • 使用 ArUco 算法进行屏幕标记和识别以实现屏幕获取。

研究成果

• 具体成果:

  1. 设备原型: 成功开发了Datamancer原型设备，支持多种场景下的跨屏幕交互，如个人办公、会议演示和协作分析。
  2. 实验验证: 通过三种场景（个人办公、会议、协作分析）验证了系统的实际应用潜力。
  3. 用户研究结果:
     • 数据专家评价其在协作分析中的潜在用途，如交通管理和多用户协同。
     • 用户测试（12人）表明大多数用户认为系统直观、易于使用，整体系统易用性评分SUS达到78.125分（高于平均值）。

• 与现有解决方案对比的优势:

  1. 不依赖于繁琐的头戴式设备或大屏安装，提供灵活、穿戴式的解决方案。
  2. 支持即时交互和动态多设备操作，便于在不同环境下快速部署。
  3. 实现多用户多任务的自然双手交互，相比鼠标和XR控制器更加自然直观。

• 实验或评估结果:

  1. 用户快速适应系统后完成分布式多屏视觉任务。
  2. 数据专家认为该系统可显著提升演示与协同时的效率。
  3. 使用场景覆盖从课堂教学到多人协作和现场分析的广泛领域。

• 局限性与未来方向:

  1. 学习曲线问题: 手势操作初始需学习，部分用户可能会忘记手势。
  2. 技术局限: 当前原型并未完全无线化，用户在实际操作中有部分限制。
  3. 设计优化:
     • 增强手势识别的鲁棒性并添加更多用户定义手势。
     • 引入可视化引导和即时反馈机制以提高手势的可发现性。
  4. 扩展方向:
     • 支持多用户同时使用并减少干扰。
     • 跨越浏览器环境的兼容性以支持更多专业应用软件（如本地分析应用）。
     • 探索不倚赖大空间挥舞手势的新型扩展输入方式，如腰部传感器输入。