通过条件委托实现人与AI的合作：一个内容审核案例研究

文献标题

Human-AI Collaboration via Conditional Delegation: A Case Study of Content Moderation

文献信息

• 主题领域: 人机交互与人工智能在内容审核中的应用
• 关键词: 人工智能协作，条件性委派，内容审核，用户界面设计，机器学习，文本分类，XAI（可解释AI），分布偏移

研究背景与问题

• 问题或挑战:

  • 尽管AI在一些基准数据集上性能卓越，但它在处理分布外数据（out-of-distribution）时的性能会显著下降。这会导致错误决策，特别是在需要大规模处理任务的低风险领域（如社交媒体内容审核中）。
  • 当前的人机协作多关注每个决策的人工参与，使其在需要快速、高效处理大规模任务（如内容审核）时难以扩展。

• 重要性:

  • 在分布偏移情况下，AI模型的表现不可靠。需要探索如何将AI与人类的知识和判断力相结合，提高自动化的同时保留人类主动控制权。

• 研究动机与相关工作:

  • 人机协作领域已探索如何利用AI进行高风险决策，但鲜有在大规模、低风险任务中研究条件性委派的适用性。
  • 当前规则驱动的自动化系统（如Reddit的AutoModerator）具有较高的可控性，但无法充分利用AI的潜力。

解决方案

• 提出的解决方案: 条件性委派（conditional delegation），通过定义AI在执行任务时可以被信任的范围（trustworthy regions），建立人类与AI的协作。

  • 人类在模型部署前定义这些“可信区域”，部署后仅将落入这些区域的内容交由AI处理，剩余部分交由人类处理或采用其他措施。

• 创新之处:

  • 提出了一种新的AI协作模式，不再依赖人类对每个任务逐一审查，而是允许人类通过预定义的规则决定AI的自动化使用范围。
  • 集成了局部和整体可解释性（local and global explanations）以辅助人类理解模型行为。
  • 设计了一套实验方法，量化验证了条件性委派的有效性，并研究了不同场景下人类规则创建的成功与挑战。

• 实施步骤:

  1. 界面开发: 设计并实现了一个测试系统，用于支持用户通过关键词搜索观察AI行为，并生成规则。
  2. 数据准备与AI建模:
     • 使用Wikipedia攻击评论数据（WikiAttack）作为分布内数据。
     • 使用Reddit仇恨言论数据作为分布外数据。
     • 采用一种解释性神经网络模型，提供理性（rationale）为基础的预测与分析。
  3. 实验设计:
     • 参与者需编写关键词规则，通过条件性委派审查模型预测的可靠性。
     • 对比了四种条件：仅提供预测标签、标签+局部解释、标签+局部+全局解释，以及当前手动规则方法。
  4. 评估指标: 使用精度（precision）、覆盖范围（coverage）、奖励分数和用户主观反馈等多维度评估规则的质量以及用户体验。

研究成果

• 具体成果:

  • 条件性委派在分布内数据（WikiAttack）显著提升了模型的精度，超过了模型单独工作的表现。
  • 使用分布外数据（Reddit）时，虽然条件性委派提升了模型性能，但不足以全面超越手动规则。
  • 提供局部和全局解释能提升规则创建效率，但也可能由于认知偏差误导用户选择低效关键词。

• 与现有解决方案的优势:

  • 在保证一定自动化水平的同时充分结合了人类的主动性，提高了协作决策的规模化潜力。
  • 支持动态调整规则以适应不同任务场景，使其能够克服分布偏移带来的挑战。

• 实验或评估结果:

  • 在分布内场景下，局部解释显著降低了用户的主观认知负担，让用户对完成任务更有信心。
  • 全局解释缩短了用户创建规则所需时间，提升了整体效率。
  • 用户创建的规则能够有效描绘“信任区域”，并优化模型预测的准确度。

• 局限性与未来方向:

  • 使用的实验参与者为Mechanical Turk众包工人，缺乏专业内容审核者的视角。
  • 实验中仅要求参与者创建少数规则，未来研究可探讨如何激励用户创建更全面的规则集。
  • 分布偏移对用户选择规则的影响仍需进一步细化分析。
  • 应探索条件性委派在长期部署中的动态规则更新策略，以及对偏见的主动监测与控制。