Collab：通过协同标注促进社交媒体上Deepfake视频的关键识别

文献标题

Collab: Fostering Critical Identification of Deepfake Videos on Social Media via Synergistic Annotation

出版信息

• 主题领域: 社交媒体上的深度伪造视频识别协作工具。
• 关键词: 深度伪造检测、协作标注、时空标注、社会影响、集体智能、虚假信息、用户界面设计、视频分析、众包、批判性思维。

背景与问题

• 问题/挑战: 现有深度伪造视频识别工具在时空标注方面不足，缺乏稳健的聚合机制，且未能以增强用户评估并减少社会偏见的方式呈现洞察。
• 重要性: 深度伪造视频对公共话语构成重大威胁，需要可扩展且用户友好的工具来促进批判性评估并减少虚假信息传播。
• 动机与相关工作: 现有方法包括自动检测系统、人工审核以及众包标注。然而，这些方法在可扩展性、应对新型操控的脆弱性以及缺乏针对视频特定挑战的界面设计方面存在不足。本研究基于集体智能（CI）和社会影响（SI）理论来解决这些问题。

解决方案

• 提出的方法: Collab，一款用于深度伪造视频协作标注的网络插件，集成了时空标注、信心加权聚合和分层演示功能。
• 创新点:
  1. 一种基于信心加权的时空交并比（IoU）算法，用于聚合用户标注。
  2. 一个直观的标注界面，支持带有信心分数和理由的时空标注。
  3. 一种分层可视化策略，用于呈现聚合洞察，同时减少社会一致性偏见。
• 流程与关键技术:
  • 用户通过标记时空区域、分配标签、信心分数以及可选理由来标注视频。
  • 一个信心加权的三维IoU算法将标注聚合为整合区域和标签。
  • 聚合洞察以半透明叠加和分层细节的形式展示，以指导用户评估。

结果

• 具体发现:
  • Collab的F1分数达到0.883，优于No Label（0.795）和No Agg（0.849）条件。
  • 用户使用Collab平均标注了190.8个视频，而在No Label条件下仅为62.1个。
  • Collab标注更精确（中位边界框面积=1.94%），且更具体（例如，标签“Blurry”的使用增加）。
• 相较基线的优势:
  • Collab的准确性比No Label提高了8.8%，比No Agg提高了3.4%。
  • 促进了批判性参与，降低了认知负担，并相比基线条件增强了反思性思维。
• 实验/评估:
  • 在一个模拟社交媒体平台上进行为期7天的研究，90名参与者参与。
  • 使用了四个数据集（Face Forensics++、BioDeepAV、DFW、DDL）的视频，共240个视频（120个真实，120个伪造）。
  • 评估指标包括准确性、边界框精度、标签分布以及主观评分（如NASA-TLX）。
• 局限性与未来工作:
  • 模拟环境中的平衡数据集可能无法完全反映真实世界条件。
  • 未来工作应探索在自然环境中的部署，与自动化系统的集成，以及针对被动用户的适配。

总结

Collab是一款协作标注工具，通过集成时空标注、信心加权聚合和分层可视化，旨在增强社交媒体上深度伪造视频的识别能力。一项为期7天的研究证明了其有效性，F1分数达到0.883，并促进了批判性参与和精确标注。Collab在准确性、用户满意度和标注质量方面均优于基线条件。未来研究应关注真实世界部署、应对对抗性操控，以及扩展工具在其他媒体格式中的适用性。