不要现在看：地标3D扫描的音频/触觉引导

文献标题

Don’t Look Now: Audio/Haptic Guidance for 3D Scanning of Landmarks

文献信息

• 主题领域: 以用户体验研究引导的3D扫描技术，结合音频与触觉反馈，优化公共场景中的物体扫描
• 关键词: 3D扫描、引导、音频反馈、触觉反馈、视觉反馈、增强现实（AR）、用户参与度、用户安全性、网格重建精度、多模态反馈

研究背景与问题

• 问题或挑战:
  • 用户在使用智能手机扫描公共场景中的物体或标志时，面临如持续保持扫描目标在画面中心、避免行走干扰等问题。
  • 使用传统屏幕反馈方式时，以视频指导为主的用户体验可能导致用户压力增加、交互复杂化以及在公共场所感到侵扰隐私或不适。
• 重要性:
  • 随着智能手机搭载LIDAR和实时多视角立体计算技术的普及，非专业用户对高质量3D扫描的需求与期望上升。同时这些扫描可用于虚拟现实（VR）、考古学、医学教育及文化遗产保护等领域。
• 研究动机与相关工作:
  • 当前3D扫描支持工具在使用便捷性和应对高流量区域环境方面尚不成熟。例如，视觉反馈显现不够及时、存在步态误差（drift）等不足。
  • 研究旨在重新构思反馈模式，将多模态反馈（尤其是音频与触觉）融入，使用户在扫描过程中减少对屏幕的依赖。

解决方案

• 提出的解决方案:
  • 设计并开发了一款结合音频与触觉指导的3D扫描应用，通过实时音频提示和振动反馈优化用户交互体验。
  • 改进初始化算法和抗步态漂移算法，包括基于卷积神经网络的实时图像分割模型（如Google的MagicTouch技术）和3D边界框估算。
• 创新之处:
  • 应用音频和触觉指导模式替代屏幕反馈，用户在扫描时实现“眼睛离屏”操作，避免视觉分心。
  • 使用Landmark Tracker步态误差修正算法以显著降低实时扫描框漂移问题。
  • 增强算法与界面设计结合，如动态的音频音乐节奏与画面变化适配、振动频率与强度的实时调整。
• 实施步骤与技术:
  • 用户初始界面通过点击目标物体触发智能分割以生成3D边界框。
  • 中间过程动态调整音乐音调与触觉强度以引导用户保持最佳扫描姿态。
  • 最后本地生成扫描网格，允许用户通过缩放旋转查看其生成的POI模型。

研究成果

• 具体成果:
  • 音频/触觉引导界面相比传统视觉指导，用户参与度（特别是使用感和奖励反馈）显著提高，扫描持续时间更长，生成的网格质量更高。
  • 完全依据音频/触觉反馈设计的应用，用户在户外扫描区域更能保持对周围环境的感知，减少社会评价压力（例如被旁观者认为侵犯隐私）。
• 优势:
  • 用户在视觉屏幕引导条件下的扫描网格精度较低，而音频/触觉引导能生成精度更高、更完整的3D网格。
  • 显著减少步态漂移问题，漂移现象下降率从83%降至18%。
• 局限性与未来方向:
  • 音频/触觉指导模式未显著减少用户整体压力，并且某些用户提到由于没有直接视觉反馈而需更紧抓设备。
  • 没有结合音频、触觉和视觉多模态反馈同时使用的测试条件。
  • 户外复杂环境变量（如人群拥堵程度）可能对体验效果有潜在影响。
  • 下一步研究方向可包括对不同场景（大型建筑、室内空间）的有效性比较，以及长时间使用后的模式适应研究。