专业知识在有效监管有害社交媒体内容中的作用

研究背景与问题

• 发现的问题或挑战:

  1. 社交媒体平台在2020-2022年提格雷战争期间传播种族灭绝内容未能被有效地管控。
  2. 社交媒体平台对语言的支持有限，未能投资于具有深入文化和语言知识的内容审核员，导致内容审核的低效。
  3. 在内容审核中专家对“有害内容”的定义和分类存在显著分歧（初始分歧率高达71%）。

• 重要性:

  • 提格雷战争导致高达60万至80万人死亡，被认为是21世纪迄今最致命的种族灭绝案例之一。在这一背景下，有害社交媒体内容的传播加剧了冲突和暴力。
  • 内容审核的不当可能加剧政治暴力、种族灭绝和对少数群体的迫害，这是全球需要关注的重要问题。

• 研究动机与相关工作:

  • 研究动机：探讨适宜有效审核仇恨和暴力内容所需的专门技能，并分析专家之间分歧的来源和解决方法。
  • 相关工作：已有研究重点在更广泛的语言问题上探讨内容审核（如罗兴亚种族灭绝和仇恨言论传播问题）。不过，对特定种族灭绝环境下的内容审核尤其非西方语言的审核仍是一个研究空白。

解决方案

• 提出的方法或解决方案:

  1. 设计和实施4个月的数据注释研究，包括7位具有语言、文化和领域知识的专家联合标注340条社交媒体帖子。
  2. 执行15位商业内容审核员的访谈研究，旨在了解社交媒体平台当前的审核实践。
  3. 提出可操作性的建议以改善仇恨言论注释和内容审核实践。

• 创新之处:

  • 首次全面分析种族灭绝冲突背景下内容审核的复杂性，揭示语言、文化知识和领域专业的交叠作用。
  • 通过建立明确的分歧解决流程，探索如何提升审核一致性和应用更适合冲突环境的审核机制。

• 实施步骤:

  1. 工作规划和设计：基于社交媒体平台设定的审核规则，制定详细的代码规范（codebook）。
  2. 数据收集与清理：提取含特定关键词的社交媒体内容（共5.5百万条），筛选相关内容以确保质量。
  3. 数据标注与分歧解决：通过LabelStudio平台标注内容，并每周进行团队协商解决分歧。
  4. 访谈研究：与商业内容审核员深入讨论以了解目前审核实践和存在的问题。
  5. 定性和定量分析：通过Krippendorf’s Alpha测量标注分歧，结合访谈数据进行主题分析。

研究成果

• 具体成果:

  1. 阐明了审核种族灭绝内容所需的深度文化知识、语言方言知识以及领域专长。
  2. 发现专家之间的初始标签分歧高达71%，但通过团队协商可降至40%，显示出“共同讨论解决分歧”的重要性。
  3. 提供了对商业内容审核实践的深度洞察，揭示了平台对语言技能和表面文化意识的优先投资，但忽视更深入的文化和领域知识。
  4. 完成了复杂背景下触发性术语的分类（如“杂草”等种族灭绝暗喻）。

• 与现有解决方案相比的优势:

  • 重点解决了审核工作中因文化和语言差异引发的分歧问题，与传统依赖投票机制的做法相比，提供了更具协作性和适应性的解决方案。
  • 不仅识别了语言和文化知识的重要性，还提出将行业领域知识（如记者和活动家的专业知识）纳入审核流程的必要性。

• 实验或评估结果:

  • 数据注释研究显示，经过协商会议后，标签一致性显著提高（Krippendorf's Alpha从0.2提升至0.55），表明分歧解决流程的有效性。
  • 访谈研究揭示了审核员对平台现行流程和政策的不满及其对更公平审核程序的需求。

• 局限性与未来方向:

  1. 局限性:
     • 数据注释中仅包含7位专家，具有一定领域和文化背景的偏重，建议未来扩展更多语言和文化参与者。
     • 访谈仅涵盖了部分地区（主要为非洲市场），对其他全球市场中的审核实践缺乏覆盖。
  2. 未来方向:
     • 扩展研究至更多语言和文化背景，特别关注资源稀缺语言。
     • 整合更多平台政策制定者与市场专家的视角，以补充审核员和注释员的观点。
     • 探索冲突之外的其他复杂审核场景，如仇恨言论自动化检测工具的改进方案。