PeriphAR：基于周边增强现实的快速准确真实世界物体选择

文献标题

PeriphAR: Fast and Accurate Real-World Object Selection with Peripheral Augmented Reality Displays

出版信息

• 主题领域: 基于周边视觉反馈的增强现实（AR）对象选择。
• 关键词: 周边视觉，增强现实，基于注视的交互，单目AR显示，颜色增强，对象选择，周边反馈，XR，可快速查看的AR，人机交互。

背景与问题

• 问题/挑战: 现有的AR系统在对象选择中依赖中央视觉提示，这对于视场（FOV）有限的单目、始终开启的AR眼镜来说并不适用。周边视觉作为对象选择的反馈通道尚未得到充分探索。
• 意义: 填补这一空白可以使轻量化、低功耗的AR眼镜提供直观的、免手操作的交互，同时让用户专注于现实世界任务。
• 动机与相关工作: 之前的研究主要集中在中央视觉提示、自适应界面以及用于次要信息的周边显示，但这些方法假设了更强大的AR硬件。研究表明，周边视觉在检测运动和高对比度变化方面非常有效，但其在AR中用于现实世界对象选择的应用仍未被深入研究。

解决方案

• 提出的方法: PeriphAR，一种利用周边视觉进行反馈的可视化技术，用于单目AR显示中的基于注视的选择。
• 创新点:
  1. 提供关于现实世界对象选择中有效周边提示的经验性见解，提高准确性和用户信心。
  2. 设计并实现了一种颜色增强算法，以改善目标在周边视觉中的可见性。
  3. 评估了两种周边代理生成策略：基于快照的策略和最相似颜色（MSC）策略。
  4. 提供了一个用于现实世界对象检测和选择的端到端概念验证系统。
• 方法与关键技术:
  1. 使用Quest Pro模拟单目AR显示并进行控制实验。
  2. 开发了一种颜色增强算法，以最大化目标与相似对象之间的对比度。
  3. 通过两项用户研究评估周边提示和代理生成策略。
  4. 使用YOLO11n进行实时对象检测和分割，完成端到端系统实现。

结果

• 具体发现:
  • 周边颜色提示在选择任务中最为有效，实现了最快的任务完成时间（30.4秒）和最佳的现实世界与显示内注视比（6.0:1）。
  • 在复杂环境中，MSC策略在黄色货架上的错误率（17.7%）低于快照策略（26.2%）。
  • 红色目标被显著更快地注意到，相较于绿色或黄色，这与前注意颜色处理一致。
• 相较基线的优势:
  • MSC策略在视觉挑战场景中提高了周边代理的区分度，在主观评分（如信心、易察觉性）上优于快照和基线条件。
  • 在研究1中，颜色条件在任务效率和用户舒适度方面优于文本、形状和快照条件。
• 实验/评估:
  • 研究1（32名参与者）：测试了文本、颜色、形状和快照条件，使用类似俄罗斯方块的虚拟对象。
  • 研究2（12名参与者）：比较了基线、快照和MSC策略，使用虚拟水果货架。
  • 端到端系统：在现实场景中测试（如自动售货机、书架），平均延迟在0.72秒到1.55秒之间。
• 局限性与未来工作:
  • 现实世界部署需要针对安全关键任务的保护措施以及对光照条件的适应。
  • 算法在处理主色区域相似的多彩对象时表现较差。
  • 未来工作包括基于补丁的颜色增强、邻域感知约束以及上下文感知参数调优。

总结

PeriphAR提出了一种新颖的方法，利用单目AR显示中的周边视觉进行基于注视的对象选择。通过颜色增强和周边代理技术，它提高了选择的准确性，降低了认知负担，并增强了用户信心。两项用户研究验证了周边颜色提示和MSC策略在代理生成中的有效性。一个端到端概念验证系统在现实场景中验证了该方法，同时指出了改进方向，例如处理多彩对象和适应光照条件。PeriphAR通过将硬件限制与人类感知优势相结合，为轻量化、始终开启的AR眼镜开辟了新的可能性。