利用基于AI的审核来应对社交虚拟现实中的新兴骚扰问题

文献标题

Towards Leveraging AI-based Moderation to Address Emergent Harassment in Social Virtual Reality

文献信息

• 主题领域: 人机交互（HCI）、人工智能（AI）应用、社交虚拟现实（Social VR）、在线内容治理
• 关键词: 人工智能、内容审核、在线骚扰、社交虚拟现实、用户协作、人机协作、安全性

研究背景与问题

• 现存问题与挑战:

  • 社交虚拟现实（Social VR）中的骚扰问题有别于传统线上环境，例如虚拟性侵或语音骚扰。
  • 现有的线上骚扰治理方法（如人工或社区驱动的内容审核机制）在这一环境中的效果有限。
  • 社交虚拟现实中缺乏关于如何应对骚扰的行业共识，而新兴的 AI 审核机制还未被有效引入。

• 研究问题重要性:

  • 社交虚拟现实由于沉浸式互动和实时语音通信等特点，使骚扰问题变得更加复杂和显著。
  • 当前平台的审核方式对骚扰的定义模糊且执行不透明，用户和社区感到缺乏安全感。

• 研究动机与相关工作:

  • 作者以 39 名社交虚拟现实用户为样本，探索他们对 AI 审核的看法，以及如何开发新的审核机制以弥补现有方法的不足。
  • 以现有在线骚扰治理文献为基础，进一步研究 AI 在社交虚拟现实中的应用潜力。

解决方案

• 提出的解决方案:

  • 作者建议通过用户、人类审核员与 AI 审核系统的协作（user-human-AI collaboration）来共同解决社交虚拟现实中的骚扰问题。
  • 设计能够支持实时、大规模处理骚扰行为，并考虑社会文化背景的 AI 审核系统，同时结合社区用户的反馈。

• 创新点:

  • 提出一种基于协作的新型审核模式，将 AI 视为团队中不可或缺的一员，而非仅作为工具。
  • 强调用透明的代码和用户驱动的反馈机制来构建信任，缓解 AI 在社交虚拟现实中的潜在权力不平衡问题。

• 实施步骤与技术:

  • 通过多层决策流程将用户、人工审核员和 AI 的作用整合起来，每个独立角色分担不同任务：
    • 用户负责标记可能的骚扰行为。
    • AI 用于大规模监控并提供一致的初步判断。
    • 人类审核员专注于复杂的案件处理和处罚决策。
  • 推广代码透明性和 AI 定制化（如外观与行为），以强化用户的掌控感和信任。

研究成果

• 具体成果:

  • 阐明 AI 审核的特定优点，例如一致性、公正性和处理骚扰的规模化能力。
  • 确定 AI 审核的三大局限性：解释力不足（如文化语境理解）、技术能力局限（如实时语音骚扰检测）、可能引发新的权力不平衡。

• 与现有解决方案对比的优势:

  • 相较于传统的人工或社区驱动的审核方法，AI 审核能够更广泛、实时地覆盖社交虚拟现实的骚扰行为，同时减轻人工审核员的情感和劳动负担。
  • 结合用户输入和个性化设计，显著提升了 AI 审核的接受度和社会文化敏感性。

• 实验或评估结果:

  • 通过访谈数据提取了用户对 AI 审核的态度，包括信任、公正性与效益评价，进一步明确了为 AI 审核设计人性化交互的重要性。
  • 多数用户支持将 AI 纳入协作体系，但强调必须解决公平性和透明度问题。

• 局限性与未来方向:

  • 局限性:
    • 招募主体主要集中在美国，可能导致文化视角单一。
    • 受访者中技术背景较少，无法深度探讨 AI 审核系统的技术改进。
  • 未来方向:
    • 扩展调查样本至全球范围，包含不同文化和背景的社交虚拟现实用户。
    • 进一步开发问卷调查和技术改进研究，探索构建能够检测同步骚扰（如实时语音）的高效 AI 系统。

此研究为创建安全且包容的社交虚拟现实空间提供了清晰的技术和设计方向，同时在 HCI 文献中填补了关于 AI 在新兴线上空间审核中的理论和实证研究空白。