权力回声：在线权力不对称冲突中的仲裁偏见研究

文献标题

Power Echoes: Investigating Moderation Biases in Online Power-Asymmetric Conflicts

出版信息

• 主题领域: 权力不对称在线冲突中的审核偏见及人工智能辅助的作用。
• 关键词: 权力不对称、审核偏见、人机协作、内容审核、大型语言模型、消费者与商家冲突、启发式思维、社会权力、人工智能生成建议、在线平台。

背景与问题

• 问题/挑战: 现有研究广泛探讨了普通冲突场景中的审核偏见，但尚未系统研究权力不对称冲突中的偏见。此外，人工智能生成建议对这些偏见的影响仍不明确。
• 重要性: 理解权力不对称冲突中的审核偏见对于确保在线平台的公平性和公正性至关重要，因为此类冲突在这些平台上普遍存在（例如，消费者与商家之间的争端）。
• 动机与相关工作: 先前研究表明，人类审核者会受到社会权力线索、个人信念和任务压力的影响，从而导致偏见判断。然而，权力不对称冲突中的具体偏见及人工智能在缓解或加剧这些偏见中的作用尚未被系统研究。

解决方案

• 提出的方法: 通过混合设计实验，利用真实的消费者与商家冲突数据，研究人类及人机协作在权力不对称冲突中的权力相关偏见。
• 创新性:
  1. 首次系统研究权力不对称冲突中的审核偏见。
  2. 基于“社会权力基础”理论开发权力相关偏见分类法。
  3. 探讨人工智能生成建议对人类审核偏见的影响。
• 流程与关键技术:
  • 收集了来自大众点评平台的100个真实冲突样本，分类为10种权力表现（例如，合法主张、惩罚威胁、补偿）。
  • 进行混合设计实验，50名参与者分为仅人类审核组和人机协作审核组。
  • 使用基于网页的程序“I Support”展示冲突样本及人工智能生成建议（通过“巫师帽”设计实现）。
  • 通过定量和定性方法分析判断模式、偏见倾向及人工智能辅助的影响。

结果

• 具体发现:
  • 人类审核表现出五种显著的权力相关偏见，倾向于有利于强势一方（例如，合法主张、惩罚威胁、补偿、专业知识、文本长度差异）。
  • 人工智能辅助缓解了大部分偏见（四种缓解，一种消除），但引入了权威引用偏见，并加剧了合法主张偏见。
  • 强调不支持对方理由的人工智能生成建议使判断更倾向于弱势一方。
• 相较基线的优势:
  • 人工智能辅助减少了对启发式线索（例如，文本长度、专业术语）的依赖，并提供了替代视角，在某些情况下提高了公平性。
  • 然而，当人工智能被视为经过验证的权威来源时，也会强化偏见。
• 实验/评估:
  • 参与者（n=50）完成了每人70项判断任务，使用初始及扰动后的冲突样本。
  • 统计分析（例如，配对t检验）确认了显著的偏见及人工智能辅助的差异性影响。
  • 半结构化访谈提供了参与者感知和决策过程的定性见解。
• 局限性与未来工作:
  • 仅限于中国平台上的消费者与商家冲突，限制了跨情境和跨文化的普适性。
  • “巫师帽”设计可能无法完全复制真实世界的人工智能输出。
  • 未来工作应探索其他权力不对称情境、文化差异及真实人工智能模型的应用。

总结

本研究系统探讨了在线权力不对称冲突中的审核偏见，聚焦于人类及人机协作审核。研究识别出五种显著偏见倾向于强势一方，并证明人工智能辅助可以缓解大部分偏见，但也引入或加剧了一些偏见。通过真实的消费者与商家冲突数据及混合实验设计，研究结果揭示了人工智能在塑造审核判断中的双刃作用。这些见解为设计更公平的审核系统及人机协作策略提供了参考，对多样化的在线冲突场景具有重要意义。未来研究应关注跨文化普适性及真实世界的人工智能应用。