BirdViewAR：使用增强的第三人称视角进行环境感知的远程无人机驾驶

文献标题

BirdViewAR: Surroundings-aware Remote Drone Piloting Using an Augmented Third-person Perspective

文献信息

• 主题领域: 增强现实 (Augmented Reality, AR) 与无人机遥控技术
• 关键词: 增强现实、第三人称视角（TPV）、空间感知、无人机、远程飞行控制、自动化飞行、用户体验、AR覆盖、可视化技术

研究背景与问题

• 问题与挑战:

  1. 传统无人机的第一人称视角（FPV）存在视野盲区，限制无人机驾驶员对周围环境的空间感知。
  2. 现有的方法（如多摄像头、360度摄像头和SLAM技术）在实时性方面受到技术限制，无法完全解决盲区问题。
  3. 静态或预设的第三人称视角（TPV）无法适应动态飞行需求，同时驾驶员可能无法准确感知无人机的高度、方向等空间状态。

• 研究的重要性:

  • 解决视角盲区问题对于远程无人机操控（特别是超视距飞行，BVLOS）必不可少，以确保其安全性和操作效率。
  • 无人机在灾害调查、快递投送、远程维修和视频拍摄等领域有广泛应用，提升操控体验将极大地推动无人机相关技术的发展。

• 相关工作评价:

  • 先前的研究虽在TPV基础上有所进展，但大部分缺乏动态调整能力，且未充分解决驾驶员的空间感知问题。
  • AR覆盖在提升空间感知方面有一定成效，但主要集中在VLOS（视距内）情况下，未能有效结合TPV进行超视距操作。

解决方案

• 研究方法:

  • 提出BirdViewAR系统，利用无人机的增强型第三人称视图（TPV），结合AR覆盖技术，为驾驶员提供显著的空间感知和飞行状态反馈。
  • 系统由主无人机（用于任务执行）和追随型无人机（用于提供TPV）组成，通过优化算法动态调整追随型无人机的位置与视角。
  • 在TPV中叠加AR图形覆盖，包括高度显示、方向指示、相机视野（FOV）锥体及无人机与周围区域的距离指引。

• 创新之处:

  1. 动态TPV框选：基于主无人机的速度和方向，自动调整追随型无人机的高度、位置与摄像机方向，实时捕捉飞行状态和方向。
  2. AR覆盖设计：通过增强视觉反馈，改善对无人机周围空间状态的理解，并解决传统TPV下无人机可视性差的问题。
  3. 提出了一种基于视觉和优化算法的动态无人机追踪控制模型，有效减少了依赖GPS带来的延迟问题。

• 技术实现:

  • 使用两种可编程无人机（DJI的Mavic 2 Pro和Parrot Anafi 4K）。
  • Linux和Windows工作站通过网络实现信息传递与计算，包括位置计算、AR覆盖生成及追随无人机控制。
  • 通过Python脚本实现基于OpenCV的视觉算法和PID（比例-积分-微分）控制算法来管理无人机运动。

研究成果

• 用户体验改进:

  • BirdViewAR通过实验验证，显著提升了新手驾驶员的空间感知能力以及飞行操控性能。
  • 比较结果显示，AR覆盖和动态TPV框选的结合提高了驾驶员对主无人机与目标之间空间关系的理解，减少了操作中的焦虑感。

• 实验数据:

  • AR覆盖有效帮助驾驶员在“nose-in-circle”（保持连续环绕目标飞行）任务中保持准确距离，错误率降低了68%。
  • 动态TPV提高了快速定位任务中的成功率（成功定位在目标附近5-8米范围内），提升达37%。

• 优势分析:

  • BirdViewAR实现了更高的任务效率和安全性，相较于FPV或静态TPV的交互界面，驾驶员能够更准确地规划飞行路径，减少多余移动。

• 局限性与未来方向:

  • 任务场景简单，未验证复杂三维飞行中BirdViewAR的性能。
  • 遇到环境影响如光照和风力对视觉定位能力的挑战。
  • 随行无人机在复杂环境（如森林）中风险较高，未来需引入更多障碍规避机制。
  • 可扩展性提升：加入更先进的SLAM技术以及动态调整机制。

总结

BirdViewAR通过增强型TPV和AR叠加技术，为无人机远程飞行操作提供了显著的空间感知支持，特别适合于超视距操作场景。尽管初步实验取得了积极成果，但后续进一步优化系统性能并扩展适用场景将是未来工作的重要方向。