它试图看起来太真实了：深度伪造内容管理的错误和基于身份的偏见

文献标题

It’s Trying Too Hard to Look Real: Deepfake Moderation Mistakes and Identity-Based Bias

文献信息

• 主题领域: 深度伪造内容及其在内容审核中的误判与身份基于的偏见
• 关键词: 深度伪造, 内容审核, 偏见, 人工智能心理模型, 人类判别

研究背景与问题

• 发现的问题或挑战:
  • 社交媒体平台需要区分真实用户与由深度伪造技术生成的虚假用户，但偏见导致误判（将真实账户误认为虚假账户）的问题尚未被系统深入研究。
  • 错误的身份审核会对部分用户，特别是不同性别、种族身份的用户造成不公平的伤害。
• 重要性:
  • 深度伪造对用户的经济和情感伤害，以及平台的整体用户信任和价值下降，正在成为日渐严重的社会问题。
• 研究动机及相关工作:
  • 深度伪造技术的进步使得生成逼真的虚假社交媒体内容变得更加容易。
  • 现有研究发现自动化内容分类算法在不同身份群体中产生了显著的偏见，但没有对人类审核员的偏见进行同样的分析。

解决方案

• 方法或解决方案:
  • 通过实验设计分析人类内容审核员对不同种族和性别划分账户的误判。
  • 调查账户的身份信息、审核员是否与账户共享身份，以及账户展示信息的具体内容（图片、姓名或文字）对误判率的影响。
• 创新之处:
  • 首次系统分析手动内容审核误判中的身份偏见，并探讨人类审核决策中的心理模型。
  • 提供了减轻偏见的设计建议和未来方向。
• 实施步骤:
  1. 收集真实的LinkedIn个人资料，总量达到160个。
  2. 招募695个参与者作为审核员，以衡量账户的真实性。
  3. 实验通过对账户展示内容的分条件（仅姓名与图片、仅文字、全部信息）进行控制进行评估。
  4. 通过量化分析和定性分析理解审核员的决策心理。

研究成果

• 具体成果:
  • 误判研究结论：审核员的误判会因为账户种族或者性别身份而显著变化，且当账户提供的内容减少时这种变化尤为明显。
  • 心理模型：发现审核员在评判账户真实性时依赖以下心理模型：
    1. 世界观或社会定型观念（例如职业期望）。
    2. 人工智能功能的推测（例如错误纹理或过于完美）。
    3. 对攻击者策略的理解（例如高状态或模糊账户）。
    4. 未明确表达的直觉。
• 优势:
  • 清晰指出身份偏见具体表现，并通过定量和定性分析揭示根本原因。
  • 提供了减少内容审核偏见的策略，包括界面设计、审核团队搭建和安全训练。
• 实验或评估结果:
  • 显示图片和姓名时，黑人的账户（黑男黑女）比白人账户的被误判率更低。然而，仅展示文字时误判率在所有身份间均不显著。
  • 审核员评判时如果与账户身份一致（同组），更不容易误判。
• 局限性与未来方向:
  • 局限性包括：研究只涵盖特定种族和性别身份，无法囊括更广泛的身份间差异。
  • 未来方向包括扩展对更多身份及职业的误判性别；开发反偏见训练及更智能化的算法工具。

总结

该研究通过创新性实验与分析方法，详细探讨了深度伪造内容审核中身份偏见的问题，并提出了针对性建议。这为平台设计、审核团队搭建及用户心理模型理解提供了重要参考，同时催促我们关注人工智能系统及其衍生社会影响中的内隐偏见问题。