HapticLens：基于空间局部化视频运动的交互式振动触觉生成

文献标题

HapticLens: Interactive Vibrotactile Haptic Generation from Spatially Localized Video Motion

出版信息

• 主题领域: 从视频运动生成交互式触觉信号，用于单一执行器设备。
• 关键词: 触觉技术、视频到触觉、振动反馈、运动处理、显著性估计、单一执行器、交互设计、用户研究、GPU加速、多模态交互。

背景与问题

• 问题/挑战: 现有的视频到触觉方法依赖特定硬件（例如空间触觉设备）或预定义的运动特性，这限制了其在单一执行器设备（如智能手机或VR控制器）上的通用性和可访问性。完全自动化的方法还减少了创意控制。
• 意义: 将触觉内容创作扩展到任意视频内容和单一执行器设备，可以降低设计师的使用门槛，增强用户沉浸感，并扩大其在游戏、VR和移动设备中的应用。
• 动机与相关工作: 之前的研究探索了空间触觉（例如运动座椅、振动阵列）和音频到触觉的工作流程，但缺乏针对任意视频内容或交互式工作流的通用解决方案。本文基于计算机视觉技术，如基于相位的运动处理和显著性估计，来解决这些问题。

解决方案

• 提出的方法: HapticLens，一种从用户选择的视频区域生成振动触觉信号的交互式方法，使用两种视觉算法（基于相位和基于显著性）以及GPU加速实现。
• 创新点:
  1. 支持单一执行器设备的交互式视频到触觉工作流程，允许基于区域的控制。
  2. 集成基于相位的运动处理和时空显著性估计，用于动态特征提取。
  3. 提供开源的GPU加速实现及图形用户界面，适合初学设计师使用。
• 流程与关键技术:
  • 用户选择视频中的感兴趣区域。
  • 使用计算机视觉算法提取动态视觉特征（运动、显著性）。
  • 通过幅度和频率调制将特征转换为振动触觉信号。
  • 用户可交互式试听并优化生成的振动效果。

结果

• 具体发现:
  • 基于相位的算法对运动动态的敏感度更高，且在整体信号质量评分中略高（平均值=87.73），相比基于显著性的算法（平均值=82.56）。
  • 两种算法在视频内容相关性评分中均表现良好（基于相位平均值=86.19；基于显著性平均值=82.19）。
  • 每段视频的设计时间平均少于90秒，显示出较高的效率。
• 相较基线的优势:
  • 支持任意视频内容和单一执行器设备，与以往针对空间触觉或预定义运动类型的方法不同。
  • 提供交互式控制，赋予创意灵活性，而非完全自动化的工作流程。
• 实验/评估:
  • 技术评估：对运动的敏感度、抗噪性与分辨率的鲁棒性、运行性能。
  • 用户研究（22名参与者）：评估了可用性、信号质量及与视频内容的相关性，覆盖五段不同类型的视频。
  • 基准测试：视觉算法和触觉生成的处理时间适合实时交互（信号生成时间<8ms）。
• 局限性与未来工作:
  • 视频类型的评估范围有限；未来应测试更广泛的视频数据集及更长的视频片段。
  • 参与者主要为初学者；需进一步研究专业设计师的使用体验。
  • 生成的信号在感知上有基础，但物理精确性不足；未来研究可探索结合视觉和音频线索的多模态工作流程。

总结

HapticLens提出了一种从视频运动生成振动触觉信号的交互式方法，目标设备为智能手机和VR控制器等单一执行器设备。通过利用基于相位的运动处理和显著性估计，该方法实现了区域特定的触觉设计，用户满意度和效率均较高。技术评估和用户研究证明了其可行性、鲁棒性和对初学设计师的友好性。未来方向包括扩展视频数据集、整合多模态线索以及探索自动区域选择以提升可用性。HapticLens拓宽了触觉内容创作的范围，为游戏、VR等沉浸式应用提供了实用工具。