与公共安全专业人员共同设计多机器人地面视频语义理解系统

文献标题

Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals

出版信息

• 主题领域: 公共安全领域中多机器人视频分析的人机协作。
• 关键词: 多机器人系统, 公共安全, 视频理解, 异常检测, 人机协作, 情境感知, 基于描述符的搜索, 地面机器人, 计算机视觉, 伦理人工智能。

背景与问题

• 问题/挑战: 当前的公共安全工作流程依赖于手动、劳动密集型的视频分析，这种方式在多机器人系统中效率低下。现有的异常检测模型和视频工具与公共安全专业人员的操作需求不匹配。
• 重要性: 提升公共安全领域的视频理解能力可以改善情境感知，减少手动工作量，并在人员有限的情况下实现可扩展的操作。
• 动机与相关工作: 人机交互和计算机视觉领域的先前研究已经探索了视频交互工具和异常检测，但这些系统并未针对多机器人、移动视频流进行优化，也未基于公共安全专业人员的实际操作实践。现有研究的不足包括缺乏数据集、事件分类体系以及专为多机器人视频工作流设计的系统。

解决方案

• 提出的方法: 多机器人视频理解系统（MRVS），一种结合多模态LLM后端与以用户为中心的前端的人机协作工具，用于分析多机器人视频流。
• 创新点:
  1. 引入一个包含38个感兴趣事件（EoIs）分类体系的测试环境、一个地面机器人视频的公共数据集，以及六项设计需求（DRs）。
  2. 开发MRVS，将AI驱动的视频分析与交互功能相结合，以增强情境感知和协作能力。
  3. 通过基准测试和专家评审评估MRVS的后端和前端性能。
  4. 确定部署类似MRVS系统的伦理、实践和社会考量。
• 流程与关键技术:
  1. 通过公共安全专业人员的调查和访谈，共同设计EoIs和DRs。
  2. 创建一个包含20段视频的数据集，涵盖白天和夜间条件下的脚本化巡逻场景，共计156个事件。
  3. 开发MRVS，提供视频回顾、情境概览、基于描述符的搜索和群组工作区等功能。
  4. 通过算法基准测试和九位公共安全专业人员的专家评审进行评估。

结果

• 具体发现:
  • MRVS在异常检测中取得了F1分数：白天0.497，夜间0.540，总体0.519，优于HolmesVAD和Gemini 2.0。
  • 专业人员报告称，手动工作量减少，调查速度加快，情境感知能力提升。
• 相较基线的优势:
  • MRVS显示出更高的召回率（总体0.663），并在夜间条件下表现更佳。
  • 系统的基于描述符的搜索和AI生成的回顾功能因其效率和可用性受到好评。
• 实验/评估:
  • 在20段视频（470分钟）上进行算法评估，将MRVS与HolmesVAD和Gemini 2.0进行比较。
  • 九位专业人员的专家评审评估了MRVS的可用性、功能性及其在工作流中的整合。
• 局限性与未来工作:
  • 模拟的巡逻场景可能无法完全反映真实世界中的极端案例或对抗性行为。
  • 由于仅限于单一司法辖区和校园环境，通用性有限。
  • 未来工作包括扩展EoIs、数据集，并部署到不同的司法辖区和多种模态中。

总结

本文介绍了MRVS，一种用于公共安全领域多机器人视频理解的人机协作系统。通过结合多模态LLM后端与以用户为中心的前端，MRVS增强了情境感知，减少了手动工作量，并支持协作工作流。评估结果表明，与基线相比，MRVS在异常检测和可用性方面有显著提升。本文还提供了一个可重复使用的测试环境，并确定了部署类似MRVS系统的伦理和实践考量。未来研究应聚焦于更广泛的部署、更多模态的应用以及对操作环境的长期适应性。