PEANUT：用于标注音视频数据的人机协作工具

文献标题

PEANUT: A Human-AI Collaborative Tool for Annotating Audio-Visual Data

文献信息

• 主题领域: 人机协作、音视频数据标注、人工智能辅助工具
• 关键词: 人机协作, 数据标注, 数据标签, 音视频学习, 交互式机器学习

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 音视频学习需要高质量的大规模数据集支持，但数据集的缺乏限制了模型的性能与普及。
  • 音视频数据标注耗时耗力且重复性高，现有工具如 VIA 在标注全流程的人工参与中存在效率低下问题。
  • 现有部分数据标注工具主要针对单模态数据（如图像或文本），缺乏处理音视频这种双模态数据的能力。

• 为什么这个问题很重要？

  • 音视频学习广泛应用于视频检索、增强现实（AR/VR）、无障碍设计等领域。
  • 高质量数据集是提升音视频模型性能的关键。
  • 降低数据标注的成本与增强效率将加强相关技术的采用性。

• 研究动机与相关工作

  • 现有研究提出了AI辅助数据标注工具，但大多局限于单模态。
  • 人机协作在数据科学工作流中的应用受到高度关注，特别是针对复杂任务中的AI辅助实践。
  • 教育背景和数据标注经验可能对使用工具的效率产生不同影响，这值得进一步探索。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发了音视频数据标注工具 "Peanut"，通过人机协作减少人工标注工作量。
  • Peanut采用单模态模型完成部分自动化，将音频和视觉特征分开处理，并通过用户协助完成模态间的协同标注。
  • 使用主动学习（Active Learning）实时改进模型性能，将用户的标注结果用于微调视觉-声学映射模型。

• 该解决方案的创新之处是什么？

  • Peanut采用了一种新的多模态交互策略，依据单模态模型结果，结合用户反馈完成标注任务，提供部分自动化但未完全依赖AI。
  • 动态推荐关键帧进行标注，极大降低用户需要逐帧标注的工作量。
  • 实现了模型实时主动学习，以适应视频的场景和内容变化。
  • 提供了标注结果快速复核功能，降低用户对AI结果的过度依赖。

• 实施步骤是什么？使用了哪些关键技术？

  • Peanut的设计使用基于二分搜索算法推荐关键帧。
  • 通过音频标签模型和对象检测模型完成单帧标注的预测。
  • 采用主动学习策略，根据用户输入实时优化模型性能。
  • 提供缩略图浏览和标注视频播放功能，让用户验证标注结果准确性。

研究成果

• 取得了哪些具体成果？

  • Peanut显著提升了音视频数据标注的效率，用户标注帧数显著增加。
  • 在实验中，标注准确度（cIoU）从手动标注的0.72提升到使用Peanut标注时的0.93，显著高于完全自动化模型的0.33。

• 与现有解决方案相比，它有哪些优势？

  • 人机协作工具更适合多模态数据标注，能动态调整工作流以适应视频内容变化。
  • Peanut的关键帧推荐算法降低了用户需要手动标注的工作量，同时保持了标注结果高质量。
  • 在用户无特殊技能或专业知识的情况下，Peanut整合了用户的控制权与AI的效率。

• 实验或评估结果是什么？

  • 参与实验的用户在25分钟内平均标注的帧数从基线条件下的169.45帧跃升到使用Peanut时的488.85帧。
  • 使用Peanut工具时，标注准确度显著提高，且用户体验和接受度大多积极，尤其在节约时间与降低重复性工作方面。

• 局限性与未来方向

  • Peanut目前未整合语音和自然语言处理模型，这在涉及人类语音内容的标注中可能受限。
  • 当前版本局限于声音对象定位任务，可扩展至事件定位或音视频解析等其他任务。
  • 未来计划将工具公开部署，并用于大规模数据集标注以进一步验证其功效。