关于真实视频和换脸视频之间感知差异的理解

文献标题

Towards Understanding Perceptual Differences between Genuine and Face-Swapped Videos

文献信息

• 主题领域: 人脸替换视频感知研究
• 关键词: 视频操控, 人类感知, 眼动追踪, 人脸替换, 深度伪造检测, 表情识别
• 会议: CHI Conference on Human Factors in Computing Systems (CHI '21), 2021年5月
• DOI: https://doi.org/10.1145/3411764.3445627

研究背景与问题

• 作者发现了哪些问题或挑战？
  • 随着深度学习的发展，人脸替换技术变得越来越强大，除了用于娱乐创意，也可能被用于不道德的伪造，产生社会威胁。
  • 当前尚未完全清楚为什么人类会被误导，或者他们是通过哪些线索识别出视频的操控。
• 为什么这个问题很重要？
  • 人脸替换技术可能被滥用于政治领域（如虚假信息传播）和社交场景（比如网络欺凌），影响社会稳定。这使得了解人类感知与开发可靠检测方法成为亟需解决的问题。
• 研究动机与相关工作：
  • 现有的检测方法多关注图像分析和检测伪造痕迹，但很少探讨观察者的反馈。
  • 人类对人脸极度敏感且在识别人脸方面具有优势，因此研究人类如何感知人脸替换视频将为改进检测工具提供新的思路。

解决方案

• 研究方法:
  • 论文通过三个感知实验（眼动追踪、视频时长对检测准确性的影响、以及情感评估）探讨人类如何辨别视频中的操控。
• 创新之处:
  • 将眼动数据引入到人脸替换视频的感知研究中，并观察其是否可以用于检测面部操控。
  • 研究了情感在真与伪视频中的传递差异，这是计算机算法难以处理的领域。
• 实施步骤:
  1. 实验设计:
     • 实验E1（眼动追踪）: 分析观看真视频和替换视频时的眼动行为。
     • 实验E2（视频时长影响）: 测试视频长短对操控检测准确性的影响。
     • 实验E3（情感评估）: 评估人类对真视频和替换视频中情绪的识别准确性、强度和真诚度。
  2. 实验数据:
     • 使用受控环境下的PEFS数据集及FaceForensics数据集，通过这些视频生成真实和替换版本。
  3. 数据收集与分析:
     • 采用高速眼动追踪设备及在线问卷平台，记录参与者的观看行为、视频质量报告和情感评估。

研究成果

• 具体成果:
  1. 眼动追踪数据分析:
     • 与真视频相比，观看高质量替换视频时，参与者更多注视嘴部和鼻子，较少注视眼部。
     • 面部轮廓伪影引起的注视尽管报告频率较低，但对注视行为的影响显著。
  2. 视频时长对识别准确性的影响:
     • 视频时长对白视频和人脸替换视频的操控检测准确性无显著影响。
     • 结果表明参与者的判断通常在早期就已做出。
  3. 情感识别:
     • 尽管总体情感识别准确率接近，但在强度和真诚度方面，真视频表现略优于替换视频。
     • 部分情绪（如厌恶、惊讶）在替换视频中的传递较弱。
• 与现有解决方案的优势:
  • 引入了观察者相关的感知数据，为现有的面部操控检测算法提供了新角度。
  • 不直接依赖伪造的视觉伪影，可能对未来更复杂的面部操控方法具有鲁棒性。
• 局限性与未来方向:
  • 实验仅在受控环境下进行，缺乏对更复杂场景（如自由动作、多人物场景）的验证。
  • 参与者主要为年轻大学生，可能无法完全反映更广泛人群的感知模式。
  • 未来研究可扩展到不同类型的面部操控技术，并探索熟悉度对感知的影响。