MIRAGE：实现实时汽车中介现实

文献标题

MIRAGE: Enabling Real-Time Automotive Mediated Reality

出版信息

• 主题领域: 面向安全、信任和车辆交互设计的实时汽车媒介现实（AMR）。
• 关键词: 汽车媒介现实、增强现实、减弱现实、修改现实、实时系统、目标检测、分割、深度估计、图像修复、人机交互。

背景与问题

• 问题/挑战: 现有关于汽车媒介现实（AMR）的研究局限于模拟环境，由于技术和成本障碍，缺乏真实世界的评估。此前没有工作将增强现实、减弱现实和修改现实整合到一个用于真实车辆的统一框架中。
• 重要性: 针对真实世界AMR的评估对于生态有效性至关重要，有助于提升手动和自动驾驶场景中的安全性、信任感和用户体验。
• 动机与相关工作: 以往研究分别在受控环境中探讨了增强现实（AR）、减弱现实（DR）和修改现实（ModR）。真实世界的部署面临目标检测、分割和实时处理等挑战。本文在这些研究的基础上，提出了一个整体的实时AMR系统。

解决方案

• 提出的方法: MIRAGE（Mediation Interface for Real-time Automotive Graphics and Effects），一个基于Unity的开源工具，用于在真实车辆中创建和评估AMR效果。
• 创新点:
  1. 提供支持AR、DR和ModR效果的实时统一框架。
  2. 模块化和运行时可定制设计，支持灵活的原型开发。
  3. 集成最先进的计算模型，用于目标检测、分割、深度估计和图像修复。
  4. 通过专家用户研究对AMR效果进行真实世界评估。
• 流程和关键技术:
  • 使用RGB摄像头和头戴式显示器（HMD）模拟挡风玻璃显示器（WSD）。
  • 模块化管道处理摄像头输入，进行语义分割（YOLO11）、深度估计（DepthAnythingV2）和图像修复（MI-GAN）。
  • 实现15种AMR效果，涵盖AR、DR和ModR类别。
  • 通过并行处理和可配置的模型更新率优化实时性能。

结果

• 具体发现:
  • MIRAGE在消费级GPU上实现了最高34 FPS的实时性能。
  • 专家用户对可用性评价为中等（SUS得分：66.94），并指出延迟和检测不准确等技术限制。
  • AR效果如“轮廓”和“边界框”因技术可靠性获得最高评价，而DR效果如“移除”因图像修复伪影反馈不一。
• 相较基线的优势: MIRAGE通过实现真实世界的AMR评估，弥合了模拟与现实的差距，与以往基于模拟器的研究不同。其模块化设计支持灵活的定制和新效果的集成。
• 实验/评估:
  • 进行了专家用户研究（N=9），参与者来自学术界和工业界。
  • 参与者在15分钟的试驾中测试了MIRAGE，并提供了关于可用性、工作负荷和AMR效果的定性和定量反馈。
  • 识别出的关键用例包括安全增强、认知负荷管理和体验改进。
• 局限性与未来工作:
  • 当前技术限制包括延迟、误分类和缺乏目标持久性。
  • 未来工作将重点改进深度估计、增加上下文适应参数，并解决选择性现实操控等伦理问题。

总结

MIRAGE是首个支持实时汽车媒介现实（AMR）的开源工具，集成了增强现实（AR）、减弱现实（DR）和修改现实（ModR）效果。它利用最先进的计算模型支持AMR概念的灵活原型开发和评估。专家用户研究表明其在提升安全性、信任感和用户体验方面的潜力，同时也揭示了技术和伦理挑战。MIRAGE为推进真实驾驶场景中的AMR研究和应用奠定了基础。