EventAnchor: 减少拉cket运动视频中事件标注的人机交互

文献标题

EventAnchor: Reducing Human Interactions in Event Annotation of Racket Sports Videos

文献信息

• 主题领域: 运动视频分析与人工智能辅助注释
• 关键词: 运动视频, 视觉分析, 人机交互, 数据注释, 事件检测, 乒乓球

研究背景与问题

• 问题与挑战:

  • 手动从长时间的比赛视频中提取关键信息非常困难。
  • 现有基于计算机视觉的数据采集系统在低质量视频（例如广播视频）中表现较差，难以准确跟踪物体。
  • 系统通常专注于低级目标识别（例如人类动作），但在提取高级事件信息（如动作结果）方面较弱。
  • 目前的注释系统扩展性较差，在处理大量注释任务时效率不高。
  • 对于乒乓球等快速动态节奏的运动，现有的数据注释方法无法有效适用。

• 研究重要性:

  • 乒乓球和其他球拍运动全球范围内非常流行，数据分析需求巨大，尤其是对比赛战术和球员表现的分析。

• 研究动机与相关工作:

  • 不同领域专家对乒乓球比赛视频分析的需求包括球和球员位置、动作类型以及战术风格等。现有系统不足以满足这些复杂分析需求。
  • 综述了当前的互动视频注释系统、基于模型的注释方法及其设计挑战。

解决方案

• 提出的解决方案:

  • 作者提出了EventAnchor框架，该框架通过计算机视觉算法识别重要的事件作为锚点 (anchors)，以帮助用户定位、分析和注释比赛视频。
  • 设计了一个基于EventAnchor的乒乓球注释系统——EventAnchor for Table Tennis (ETT)。

• 创新点:

  • 将注释任务分为三个级别：
    • 对象级别: 通过计算机视觉识别视频中的关键对象（球、球员、球桌等）。
    • 事件级别: 通过对象运动信息和特定算法捕获重要事件（如球拍击球、球在桌面上弹跳）。
    • 语境级别: 用户通过交互添加语境信息（如战术类型）。
  • 改进时间轴工具以快速浏览视频事件，利用“校准工具” (calibration box) 和“注释工具” (annotation box) 辅助用户高效标记。

• 技术实现:

  • 应用FOTS模型进行光学字符识别 (OCR)。
  • 使用TrackNet提取球的轨迹，并通过OpenPose估计球员姿态。
  • 采用ResNet-50和支持向量机分类视频场景。
  • 提供交互式工具进行时间校准和事件注释。

研究成果

• 具体成果:

  • 通过两项实验验证框架的有效性：
    1. 事件级别任务: 标注乒乓球视频中球接触桌面的时间和位置。
    2. 语境级别任务: 标记球员在比赛中使用的“发球并攻击”的战术类型。

• 实验结果:

  • 相较于传统系统，ETT显著提高了用户的注释效率：
    • 事件级别任务: 平均任务完成时间减少了约14%，时间错误减少50%。
    • 语境级别任务: 复杂战术注释的完成时间缩短超过50%。
  • 用户对ETT的设计和功能表现出积极反馈，认为锚点提示和交互工具大大降低了认知和交互负担。

• 与现有解决方案的比较:

  • 在注释效率上显著优于基线系统。
  • 对于复杂的语境级任务，ETT在任务时间上有显著优势，但标注精度与基线系统相当。

• 局限性与未来方向:

  • 局限性:
    • 事件定义的灵活性不足，当前主要依赖球与场地或球拍的接触。
    • 音频信息未被充分利用。
    • 用户对于计算机视觉提供的结果可能缺乏足够的验证。
  • 未来工作:
    • 开发用户定义新事件类型的功能。
    • 增强音频信息识别能力以补充视觉信息。
    • 改进交互设计，提升用户参与度和结果验证率。