玻璃触觉学：面向远距离面对面协作可视化的双向合成与共享手势控制

文献标题

Glass Chirolytics: Reciprocal Compositing and Shared Gestural Control for Face-to-Face Collaborative Visualization at a Distance

出版信息

• 主题领域: 用于协作数据可视化的增强型视频会议。
• 关键词: 增强型视频会议, 协作可视化, 手势交互, 远程协作, 数据分析, 同步通信, 非语言线索, 存在感, 决策制定, STEM辅导。

背景与问题

• 问题/挑战: 传统视频会议工具通常无法有效整合非语言交流线索，例如手势和眼神接触，而这些对于实现高效的面对面协作至关重要。屏幕共享方法限制了双方的互动以及对分析意图的感知，特别是在配对分析决策场景中。
• 重要性: 解决这些限制可以通过恢复非语言交流的优势来增强远程协作，从而改善相互理解，并促进更具吸引力和效率的分析对话。
• 动机与相关工作: 先前的研究探索了用于演示的增强视频，主要强调单向交流。然而，这些方法缺乏对协作分析任务的支持，而后者需要更丰富的与复杂可视化工件的交互。本研究基于协作可视化、手势识别和增强视频合成领域的研究成果。

解决方案

• 提出的方法: Glass Chirolytics——一种将共享可视化工件和界面小部件合成到对话伙伴的镜像网络摄像头视频上的系统，支持双手空中手势交互以进行协作分析。
• 创新点:
  1. 共享视觉辅助工具和镜像视频的互惠合成，实现对彼此可见性和分析意图的感知。
  2. 引入专为分析用例设计的双手手势词汇，包括用于粗选和精选的新手势。
  3. 在多种应用场景中展示该方法，包括决策制定、探索性分析、辅导和技术面试。
  4. 评估系统在存在感、工作负荷和协作动态方面相较传统视频会议的影响。
• 流程与关键技术:
  • 将可视化工件合成到对话伙伴的灰度镜像网络摄像头视频上。
  • 手势词汇包括指点、展开、捏合、抓取和缩放手势，用于选择、导航和操作可视化元素。
  • 手势识别通过MediaPipe模型和自定义训练的分类器实现。
  • 共享状态文档和视频流的同步通过Yjs和WebRTC完成。

结果

• 具体发现:
  • 与基线视频会议应用相比，Glass Chirolytics显著提高了参与者的存在感（Temple Presence Inventory评分）。
  • 参与者报告使用Glass Chirolytics的时间需求较低，但身体需求较高（NASA-TLX评分）。
  • 观察显示，Glass Chirolytics条件下的协作更加流畅和同步，减少了对口头协调的依赖。
• 相较基线的优势:
  • 通过可见手势和非语言线索增强了对分析意图和来源的相互感知。
  • 相较基于鼠标的界面，减少了对明确口头协调和领地策略的依赖。
• 实验/评估:
  • 对16名参与者（8对）进行研究，比较Glass Chirolytics与基线应用在协作航班行程决策任务中的表现。
  • 评估指标包括性能、存在感（TPI）、工作负荷（NASA-TLX）以及访谈中的定性反馈。
• 局限性与未来工作:
  • 仅限于两名参与者的面对面协作，尚未探索扩展到更大群体的可扩展性。
  • 长时间使用可能导致身体需求增加和潜在疲劳。
  • 手势词汇需要进一步系统性评估其准确性和记忆性。
  • 未来研究机会包括纵向研究、不对称技术设置以及与语音输入或3D可视化的集成。

总结

Glass Chirolytics引入了一种增强型视频会议系统，将可视化工件的互惠合成与双手空中手势结合，支持更具吸引力和高效的面对面分析对话。与传统视频会议相比，该系统在存在感和协作动态方面表现出显著改进，增强了对分析意图的相互感知并降低了时间需求。尽管在配对分析和STEM辅导中表现出潜力，但其在更大群体和扩展使用场景中的可扩展性仍需进一步研究。该方法为围绕复杂数据工件的远程协作开辟了新的途径。