通过自动重新查询为单目标跟踪器众包更有效的初始设置

文献标题

Crowdsourcing More Effective Initializations for Single-Target Trackers Through Automatic Re-querying

文献信息

• 主题领域: 视频目标跟踪、人工智能和众包
• 关键词: Crowd-AI 协作, 众包, 单目标视频对象跟踪, 种子拒绝, 智能替代

研究背景与问题

• 问题和挑战: 单目标视频对象跟踪任务需要初始边界框（bounding box）的初始化，这是由人类专家提供的用于设置模型跟踪目标的框。然而，基于众包的初始化通常缺乏专家级别的准确性，并且当前的质量控制策略通过多重任务冗余（例如，平均多个响应以减少错误）未能有效提高效果。此外，研究发现，即使是接近完美的初始化可能因目标跟踪的复杂性而导致长期性能下降。
• 重要性: 改进众包初始化的有效性，可以降低整体成本和复杂性，从而拓展此类任务的应用范围。
• 研究动机与相关工作:
  1. 当前方法假设初始输入（即种子）始终为高质量。
  2. 众包文献中虽然有大量聚合策略（例如，多数投票、期望最大化），但这些方法通常关注输入空间中的质量，而非任务输出的直接性能影响。
  3. 需要一种能够在最少重新查询的情况下优化跟踪模型性能的方法。

解决方案

• 提出的方法:

  • 引入一种称为“Smart Replacement”的方法，这是一种高效的群体与AI混合方法，可评估是否使用由众包生成的替换初始化。
  • 提出了两个新的评估指标：替换平均附加错误（RMAE）和替换平均误差覆盖曲线的面积（ARMAE）。
  • 研究自动选择应重新查询的边界框的方法。

• 创新之处:

  1. Smart Replacement 使用数据驱动的方法，根据模型性能而非单纯的输入质量选择重新查询。
  2. 提出了新的指标（RMAE 和 ARMAE），相较于传统说法更能真实反映众包场景中的性能。
  3. 将目标重新查询和替换引入到了众包任务中，且考虑了众包完成的替换可能不完美的实际情况。

• 实施步骤与技术亮点:

  1. 众包边界框数据的收集：从 Amazon Mechanical Turk 收集 OTB-100 数据集的多个初始边界框（共900个）。
  2. 使用“附加误差”度量初始边界框对目标跟踪性能的影响。
  3. 通过不同方法（例如跟踪器置信得分、IoU 回归、循环一致性）开发和评估重新查询策略。
  4. 验证重新查询生成的新边界框是否提升整体性能，并与原始边界框进行选择对比。

研究成果

• 具体成果:

  1. 23.3%的众包初始化导致模型性能不下降，可直接使用，无需重新查询。
  2. 提出的 Smart Replacement 方法通过结合循环一致性和 IoU 回归等技术，显著增强了重新查询初始化的效率。
  3. 新指标（RMAE 和 ARMAE）能够反映众包环境下的真实状态，并超越传统依赖完美替换种子的假设。

• 与现有解决方案的优势:

  • 相较于仅关注输入空间质量的传统方法，该方法可根据任务的输出优化成本和性能。
  • 克服了当前假设替换“完美”的种子生成统计工具的限制。
  • 减少了冗余众包任务的成本，实现了大约85%的覆盖范围优化。

• 实验与评估结果:

  1. 四种重新查询方法中，“Combined C+I”（循环一致性 + IoU回归）在整体性能（AMAE为0.06541）上表现最优。
  2. 使用 Tracker Confidence 作为选择函数的情况下，显著改善了众包替换的性能。
  3. 在更真实的众包场景中，替换边界框导致性能波动，验证了晶种的缺陷诊断与选择机制的重要性。

• 局限性与未来方向:

  1. 假设金标准（gold-standard）的初始化提供了最佳性能，但实际任务中可能有更优的初始化。
  2. 当前分析针对特定 DaSiamRPN 跟踪器，未来研究可扩展到其他跟踪器和任务领域。
  3. 可探索如何在没有 gold-standard 的情况下更好地应用 Smart Replacement。

总结

本文创新提出了一个群体-人工智能混合方法 Smart Replacement 和相关的重新查询框架，在单目标跟踪任务上展示出显著的性能提升。研究基于众包产生噪声和冗余的问题特点，解决了传统方法对完美替换假设的局限性，为其他众包任务（如姿态估计、场景分类）带来了潜在的领域适用性优化。