共享视角：利用主体间神经同步检测深度伪造

文献标题

A Shared Look: Detecting Deepfakes with Inter-Subject Neural Synchrony

出版信息

• 研究领域: 基于神经认知的深度伪造检测方法
• 关键词: 深度伪造检测、跨主体神经同步性、EEG超扫描、生成式人工智能、Hyper-FusionNet、认知负荷、预测编码、人类中心人工智能、可解释系统、数字信任

背景与问题

• 问题与挑战: 当前的深度伪造检测方法主要依赖于短暂的数字伪影，这种方法在面对先进的生成式人工智能技术（如图像到视频（I2V）伪造）时效果逐渐减弱。此外，这些方法缺乏可解释性和与人类感知的对齐，限制了用户信任。
• 重要性: 深度伪造的泛滥威胁着社会信任、个人声誉以及国家安全。开发强大的、可解释的检测系统对于打击虚假信息和提升数字素养至关重要。
• 动机与相关研究: 现有研究主要集中于基于机器的像素级伪影检测或人机协作系统，但两者均存在局限性。新兴的神经科学研究表明，人类大脑对合成媒体表现出独特的神经响应，这为一种新的检测范式提供了潜在的基础。

解决方案

• 提出的方法: 本研究提出了一种基于跨主体神经同步性（ISNS）的神经认知方法，通过EEG超扫描分析配对观众之间的共享神经响应来检测深度伪造。
• 创新点:
  1. 基于共享的人类神经响应而非短暂的数字伪影开发了一种新的检测范式。
  2. 引入了Hyper-FusionNet模型，该模型整合了多视角神经同步性指标和拓扑先验，实现了鲁棒分类。
  3. 实验性地证明了“AI诱导的超同步性”作为合成内容的生物标志。
  4. 验证了ISNS生物标志在深度伪造检测和情绪识别中的应用，展示了其多功能性。
• 流程与关键技术:
  • 对15对参与者进行EEG超扫描，观看真实和I2V生成的视频。
  • 分析跨脑同步性指标（ISC、PLV、Coherence），覆盖五个频段。
  • 开发Hyper-FusionNet模型，该模型采用双流架构，结合基于ResNet的特征提取和图神经网络（GNN）分支。
  • 使用15折留一对交叉验证（LOPO-CV）策略进行评估。

结果

• 具体发现:
  • ISNS模式在真实视频和伪造视频之间表现出系统性差异，伪造内容在Beta和Gamma频段中观察到“AI诱导的超同步性”。
  • Hyper-FusionNet在深度伪造检测中实现了89.23%的准确率（95%置信区间：[84.54%, 93.92%]）。
  • ISNS生物标志在情绪识别中也实现了79.49%的准确率（95%置信区间：[73.68%, 85.30%]）。
• 相较基线的优势: 所提出的模型优于单模态基线和传统分类器，证明了多维融合和拓扑先验的重要性。
• 实验与评估:
  • 参与者观看了36个视频（真实和I2V生成），采用2x2x3因子设计。
  • EEG数据经过处理以提取跨脑同步性指标，并用于训练和评估Hyper-FusionNet。
  • 使用LOPO-CV验证结果，确保在未见过的参与者配对中具有普适性。
• 局限性与未来工作:
  • 由于实验室控制环境，生态效度有限。
  • 样本量较小（15对），符合超扫描研究的特点；需要更大数据集进行进一步验证。
  • 尚需测试在不同生成式人工智能架构中的普适性。
  • 在实际应用中扩展该方法面临硬件可用性和计算效率的挑战。

总结

本研究提出了一种新颖的基于跨主体神经同步性（ISNS）的深度伪造检测神经认知方法。通过EEG超扫描，作者识别出“AI诱导的超同步性”作为合成内容的稳健神经特征，并开发了Hyper-FusionNet模型，在检测I2V深度伪造中实现了89.23%的准确率。研究还展示了ISNS生物标志在情绪识别中的多功能性，突出了其广泛应用潜力。通过基于共享人类感知进行检测，该研究为更可信、可解释和以人为中心的内容验证系统提供了路径。未来研究将重点关注方法的实际部署扩展，并验证其在不同上下文和生成模型中的鲁棒性。