PassengXR：任意车辆多用户基于运动的乘客XR体验低成本平台

文献标题

PassengXR: A Low Cost Platform for Any-Car, Multi-User, Motion-Based Passenger XR Experiences

文献信息

• 主题领域: 虚拟现实(VR)、增强现实(AR)、扩展现实(XR)、车载科技
• 关键词: 混合现实, 扩展现实, 车载应用, 工具包, 多用户, 参考框架, 位置追踪, Unity开发

研究背景与问题

• 问题或挑战:

  • 传统的车载XR系统在开发中存在较高的成本（例如驾驶模拟器或设备采购）、跟踪稳定性问题以及实时设计测试带来的实际难题。此外，现有系统通常需要受限的实验环境，这与真实驾驶场景差异较大。
  • 当前多数平台限制于PC VR设备，成本高，多数头显设备在动态车辆中会出现漂移问题。

• 研究重要性:

  • 随着自动驾驶车的增加，乘客在旅途中的时间可以被用作休闲、娱乐或生产力活动，因此设计低成本且移动性强的车载XR至关重要。同时，对于研究者和开发者而言，需要一种适配更多车辆且具备高便携性的解决方案，以推动车载XR技术的发展。

• 研究动机与相关工作:

  • 针对车载XR体验的研究，比如CarVR和Holoride，已展示了基于车辆运动和传感器数据的初步应用，但存在多项局限性：例如设备的种类支持有限、兼容性差以及多用户功能缺失。
  • 因此有必要创新一个技术平台，使不同车型和使用场景广泛兼容，同时降低技术门槛和硬件成本。

解决方案

• 方法或解决方案:

  • 提出PassengXR，一个开源且低成本的平台，允许设计者基于Unity开发多用户车载XR体验。
  • 关键技术包括IMU（惯性测量单元）传感器、OBD-II车辆端口、GNSS/GPS以及现场或录制车辆数据的无线传输。

• 创新之处:

  • 实现对车辆运动数据（IMU姿态、OBD-II速度和全球定位）进行多用户实时传感与播放功能。
  • 包括内置工具来控制头显的对齐与校正，以解决漂移问题。
  • 提供支持任意车辆与多用户支持的Unity配置。
  • 提供实验室录制与回放工具，允许研究者基于真实驾驶数据进行开发，而无需现实车辆参与。

• 实施步骤与关键技术:

  1. 硬件设计:

     • 使用Arduino ESP32模块、IMU、OBD-II、GNSS传感器实现车辆运动数据的采集与广播。
     • 客户端设备包括Pico Neo 3 Pro头显，通过USB或Wi-Fi接收车辆数据。

  2. 软件开发:

     • 使用Unity Motion Platform框架，结合Protobuf协议解析传感数据。
     • 提供多种车辆-头显对齐与缝隙漂移校正解决方案。

  3. 核心功能:

     • 支持动态对齐、IMU漂移校正、多用户共享车载体验。
     • 支持录制并回放真实驾驶数据，实现“沉浸式的开发模拟”。

  4. 适配性增强:

     • Unity插件兼容多种头显设备，例如Pico、HTC Vive，甚至开放AR设备接入。

研究成果

• 具体成果:

  1. 成功开发并部署一个低成本的车载XR平台，所需硬件成本约为$480至$1000（远低于市场上大部分解决方案）。
  2. 提供了三种专用开发者场景，包括娱乐、信息工作区和多用户场景。
  3. 提供了三组真实驾驶记录数据，可供未来实验和设计使用。

• 与现有解决方案比较的优势:

  • 支持任何车载XR头显设备，突破了Holoride等现有商业服务对车型和设备的定制依赖。
  • 提供IMU漂移动态校正工具以及生态开发友好的工具链，具备更强共享性和开放性。

• 实验或评估结果:

  • 测试了多款头显设备的漂移问题，Pico Neo 3 Pro展现了最佳效果，漂移较小（~7.3°~22分）。
  • 成功实现多用户协作、动态环境绑定和车辆对应内容实时录播。

• 局限性与未来方向:

  • 目前仅支持3DoF头显追踪，高端6DoF设备如Meta Quest尚存跟踪漂移问题。
  • OBD-II的速度采样频率受车辆型号约束，老旧车辆可能存在传感问题。
  • 尚未开展全面的用户体验测试，未来版本应加强对设计师与用户的易用性评估。
  • 未来扩展考虑支持LiDAR、AR眼镜等智能设备，以及与公共交通工具领域的兼容性开发。

总结

PassengXR通过突破性设计降低了车载XR开发门槛，其开源和模块化策略将有助于未来自动驾驶和车载交互界面的研究与落地。长期而言，标准化、生态的扩展性和6DoF支持改进仍是重要目标。