PatternTrack：使用内置LiDAR的红外结构光投影进行多设备跟踪

研究背景与问题

• 发现的问题或挑战: 目前，在增强现实（AR）领域，实现多用户共享和同步的交互体验非常困难，通常需要复杂的设备配合和场景预处理，例如借助视觉 fiducial markers（物理标记）、UWB 或蓝牙的近距感知，以及需要进行繁琐初始化扫描的 SLAM（同步定位与建图）技术。尤其是在无特征表面（如光滑的墙壁）上，这些方法经常失效。

• 重要性: 随着AR设备（如智能手机、头戴设备）逐渐流行，多人协作AR场景需求增长。解决这些挑战对于提升AR用户体验和扩展应用场景（从医疗到游戏，再到工业协作）具有重要意义。

• 研究动机与相关工作: 作者认为现有方法耗时、依赖外部设备或基础设施（如物理标记或局部扫描），而且难以适用于特定场景（例如光滑表面）。文中的研究希望利用现有消费设备（如iPhone或Meta Quest 3）内置的LiDAR传感器和红外结构光投影来解决这一问题，从而实现即开即用的多设备追踪。

解决方案

• 方法或解决方案: 作者提出PatternTrack，这是一种基于设备内置的LiDAR红外投影模式的全新6DOF（六自由度）多设备定位方法。通过捕捉附近设备的红外光斑投影模式并分析其透视变形，PatternTrack可估计其他设备在三维空间中的位置和方向。

• 创新之处:

  1. 无需基础设施与物理标记: 无需打印标记、基站或其他外部设备；
  2. 适配无特征表面: 可在光滑或白色表面等“无特征”区域工作；
  3. 快速启动: 单帧数据即可完成空间定位，无需耗时的场景扫描或预注册过程；
  4. 短距离协作优化: 能够在0.5-2.5m范围内提供实时六自由度跟踪，精度达到与设备尺寸相当的级别。

• 实施步骤与关键技术:

  1. 利用LiDAR结构光投影的点图模式，通过红外相机捕获这些光斑。
  2. 使用深度摄像头生成三维点云，并提取出多设备投影模式。
  3. 通过单帧数据计算Perspective-n-Point问题（PnP算法）来解算设备的六自由度移动和旋转。
  4. 通过时间复用或深度学习模型分离多设备投影重叠的光斑点模式。

研究成果

• 取得的具体成果:

  1. 测试显示PatternTrack在六种常见表面（如白墙、蓝墙、灰桌等）上的3D位置跟踪误差平均为11.02厘米，角度误差为6.81°。
  2. 使用单帧数据即可实现空间定位，相比SLAM等方法，启动更迅速且免预处理。
  3. 成功部署了实现概念的原型，包括改装后的iPhone、红外相机与配套算法。

• 与现有解决方案的比较优势:

  1. 与SLAM和跨设备环境扫描相比，PatternTrack仅需一个帧的时间，消除了耗时的环境建图流程。
  2. 相较于UWB和蓝牙等方法，PatternTrack能提供真正的6DOF跟踪，而不仅仅是设备间的距离测量。
  3. 不需要额外携带物理标记或依赖深度相机、基站等外部硬件基础设施。

• 实验或评估结果:

  1. 表面影响: 在灰桌、木桌等表面上表现良好，但在红外吸收较强的材料上（如深色混凝土）性能下降。
  2. 距离影响: 当观看设备与投射表面距离达到1.5米时，准确性略有下降，但依然在可接受范围内。
  3. 角度影响: 在较浅的观察角（如30°）下，由于模式变形，精度有所降低，但仍提供了合理的6DOF估计。

• 局限性与未来方向:

  1. 表面兼容性: 当前方法不适合透明表面（如玻璃）或非常暗的材质。未来可以考虑优化摄像头参数或采用更高性能的传感器。
  2. 多设备管理: 需要改进LiDAR光斑模式的时间管理，避免多设备间的光斑重叠干扰。
  3. 计算需求: 当前算法在现代笔记本上只能达到8 FPS，仍需优化算法并提升效率，以实现实时性。
  4. 扩展应用领域: 未来研究可以结合SLAM、UWB等技术，实现更远距离的追踪或更复杂场景中的协作。

总结

PatternTrack通过重新利用消费设备中现有的LiDAR模式实现了即时的多设备6DOF追踪，大幅降低了多用户AR协作体验中的启动难度和硬件需求。这一创新方法在实际实验中表现出令人鼓舞的准确性，尤其适用于典型的短距离协作环境（小于2.5米）。未来优化方向主要集中在提升算法效率、支持更多材质和复杂场景，以及增强设备模式协作能力。这种方法有潜力成为一种通用的、无障碍的多用户AR交互方案。