建议赋予工作者裁量权：众包负责任AI(RAI)内容工作中风险披露的共同设计

文献标题

Worker Discretion Advised: Co-designing Risk Disclosure in Crowdsourced Responsible AI (RAI) Content Work

出版信息

• 主题领域: 众包负责人工智能（RAI）内容工作中的风险披露机制。
• 关键词: 负责人工智能、众包、风险披露、内容审核、工人福祉、任务设计、平台治理、心理伤害、共同设计、社会技术系统。

背景与问题

• 问题/挑战: 众包负责人工智能（RAI）内容工作经常使工人接触到有害内容（如暴力画面、仇恨言论），但缺乏充分的风险披露机制。目前的平台对工人福祉的支持有限，而现有研究主要关注正式雇佣的审核员，而非众包工人。
• 重要性: 缺乏有效的风险披露机制可能导致众包工人遭受心理伤害，包括倦怠、焦虑和创伤后应激障碍（PTSD），同时影响数据质量和RAI任务的参与度。
• 动机与相关工作: 先前的研究记录了内容审核的心理风险以及众包工作中的结构性权力不对称，但尚未充分探讨如何设计风险披露机制以平衡工人保护、任务设计者需求和平台限制。本文通过聚焦多方利益相关者的视角填补了这一空白。

解决方案

• 提出的方法: 通过共同设计研究，邀请15名任务设计者、11名众包工人和3名平台代表，共同探索RAI内容工作中的风险披露机制。
• 创新性:
  1. 提供关于众包RAI任务中风险披露的利益相关者视角的实证见解。
  2. 分析围绕风险披露的社会技术张力，重点关注警告的具体性、工人自主性和任务设计者自主性。
  3. 提出关于问责和透明的风险披露系统的设计建议。
• 过程与关键技术:
  • 与利益相关者进行个别共同设计会话，探索偏好和张力。
  • 聚焦于三个设计维度：警告的具体性、工人自主性和任务设计者自主性。
  • 使用基于Figma的原型和迭代反馈，挖掘设计机会。
  • 应用反思性主题分析，识别各利益相关者群体之间的主题和张力。

结果

• 具体发现:
  • 工人优先考虑清晰、具体的警告，并希望能够做出知情决策。
  • 任务设计者担心详细披露可能会减少参与度，但也承认其伦理责任。
  • 平台试图在保护工人、可扩展性和法律责任之间取得平衡。
  • 工人报告因警告不足而遭受心理伤害，并强调需要部分支付和反馈机制。
• 相较基线的优势:
  • 提出了多方利益相关者参与设计的方案，如自适应过滤器、AI辅助警告和部分支付模型，填补了现有平台实践的空白。
• 实验/评估:
  • 与29名参与者（15名任务设计者、11名工人、3名平台代表）进行共同设计会话。
  • 使用原型和真实案例探索设计维度（具体性、自主性）。
  • 分析任务各阶段（如注册、任务完成、任务后反馈）的张力和权衡。
• 局限性与未来工作:
  • 平台代表的参与有限，且参与者招募可能存在选择偏差。
  • 未来研究应包括更多平台和角色的视角，并通过纵向研究评估所提机制的效果。

总结

本研究探讨了众包负责人工智能（RAI）内容工作中的风险披露问题，工人在此过程中面临显著的心理风险。通过与任务设计者、工人和平台代表的共同设计会话，作者识别了围绕警告具体性、工人自主性和任务设计者自主性的张力。主要贡献包括实证见解、利益相关者张力分析，以及设计建议（如AI辅助警告、部分支付模型和反馈机制）。研究结果强调了平台需要采用更透明且以工人为中心的风险披露实践，同时在伦理、运营和可扩展性之间寻求平衡。