CrowdGraph：一种用于可解释假照片检测的众包多模态知识图谱方法

视频

DOI

以人中心的假照片是一类在在线信息分发和共享平台（如在线社交媒体）上传播误导信息的多模态帖子。一个以人中心的帖子之所以成为假照片，与其多模态内容密切相关，内容包含多样的人和与非人的主体，以及复杂而隐含的关系。本文聚焦于一个可解释的假照片检测问题，目标是准确识别并解释为什么一个以人为中心的社交媒体帖子是假照片（或不是）。我们的问题源于当前假照片检测方案的局限性，这些方案主要关注检测任务而忽略了解释结果的重要方面（例如，为什么帖子的某个组成部分传递了虚假信息）。解决我们的问题存在两个重要挑战：1）鉴于许多这类知识在不同众包工作者之间共享，很难捕捉假照片帖子中不同主体的隐含关系和归属；2）从众包工作者创建多模态知识图谱以识别和解释具有多模态内容的以人中心的假照片并非易事。为解决上述挑战，我们开发了CrowdGraph，一种基于众包的多模态知识图谱方法来解决可解释的假照片检测问题。我们通过创建一个由来自Twitter和Reddit的以人中心假照片帖子组成的真实世界数据集来评估CrowdGraph的性能。结果表明，CrowdGraph不仅比最先进的方法更准确地检测假照片帖子，还能以令人信服的证据为检测结果提供合理的解释。