利用增强现实眼镜进行视觉引导的显著性调制研究

文献标题

Look over there! Investigating Saliency Modulation for Visual Guidance with Augmented Reality Glasses

文献信息

• 主题领域: 增强现实 (Augmented Reality, AR)、视觉指导、用户界面技术
• 关键词: 增强现实, 计算眼镜, 视觉指导, 显著性, 显著性调制, 眼动追踪, 视线, 视觉增强, 增强人类, 混合现实

研究背景与问题

• 问题与挑战:

  1. 在增强现实中，通常通过显示叠加的图形（如箭头、轮廓）来进行物体突出显示或用户指导。这些方法会导致视觉杂乱和信息遮挡，并可能对长期使用不利。
  2. 当前的研究主要集中在操控视频显著性，而真实物理世界显著性调制研究较少，且存在技术难点。
  3. 光学透视头戴式显示器（OSTHMD）无法减少环境光强度，仅能增加光，因此无法完全复用现有的显著性调制方法。

• 重要性:

  • 减少视觉杂乱，同时提供引导用户注意力的能力，对于导航、远程协作和视觉搜索等应用至关重要。
  • 激发了对以更自然方式使用现有环境线索进行视觉指导的需求，从而保护场景的上下文完整性。

• 研究动机与相关工作:

  • 借鉴了显著性（saliency）的心理学模型，显著性是指某些区域在感知上更能吸引注意力的属性。
  • 虽然现有研究在视频或图像显著性调制上取得了一些进展，但大多是离线方法。对真实世界场景的增强现实显著性调制研究较少，仅停留在概念层面。
  • 研究旨在将显著性调制技术从静态视频或图像环境扩展到复杂的动态真实世界环境中。

解决方案

• 提出的方法或解决方案:

  1. 使用光学透视的头戴式显示器（OSTHMD）调制真实世界的显著性，而不是操控离线的图像或视频。
  2. 开发显著性调制算法，该算法专门设计用于只增加光强度的环境。
  3. 构建多个原型，包括一个具备立体视觉能力的 OSTHMD 原型和一个控制实验台原型以评估方法有效性。

• 创新之处:

  • 设计并实现了能够实时调制真实世界显著性的系统，同时解决了 OSTHMD 环境下的重要限制（如无法减弱光强度）。
  • 集成了一种精确对准机制，使用与用户视线对齐的场景摄像头，捕获用户真实视野以生成叠加。
  • 提出结合显著性增强元素（如对比度变更、饱和度调整）以实现仅使用光学加法调制的完整解决方案。

• 实施步骤与关键技术:

  1. 设计自定义光学显示器，集成了现场照相机和用户视角对准系统。
  2. 使用基于视觉神经科学的显著性模型，改进现有方法并适配光学透视显示设备。
  3. 执行用户实验，主要测试条件包括未调制场景、通过 AR 眼镜调制场景、以及传统圆形叠加场景。

研究成果

• 具体成果:

  • 开发了一个系统，能够在真实世界环境中生成有效的显著性调制。
  • 显著性调制能显著提高目标区域被观看的概率，并减少首次注视目标区域的时间。
  • 与传统视觉指导（例如圆形指示）相比，显著性调制减少了对用户整体视觉探索的干扰。

• 与现有解决方案的比较:

  • 本研究突破了现有显著性研究的局限，将调制直接应用于物理世界，而不是仅限于视频/图像。
  • 提供了更自然、不遮蔽视野的视觉指导方式，减少了 AR 场景的视觉杂乱。

• 实验和评估结果:

  • 主要实验显示，用户在查看显著性调制场景时，注视目标区域的比例显著增加，同时探索行为较无调制场景更自然。
  • 用户对调制图像的自然程度、干扰程度及质量评价均较传统方法更优。
  • 弱点在于针对高显著强度图像调制时，可能过于明显。

• 局限性与未来方向:

  • 限制：实验中使用的设备存在一定技术瓶颈（如色彩准确性和延迟），可能影响实际应用效果。
  • 建议更深入研究上下文感知（context-aware）的调制算法，以适应复杂动态环境。
  • 未来可探索多焦平面和减光显示技术，进一步增强调制精度与范围，同时解决 AR 场景在变焦或动态对象中的适配问题。