重新想象数据工作：参与式标注工作坊作为女性主义实践

文献标题

Reimagining Data Work: Participatory Annotation Workshops as Feminist Practice

出版信息

• 主题领域: 在人工智能开发中采用女性主义和参与式方法进行数据标注。
• 关键词: 数据标注、女性主义人工智能、参与式设计、关怀伦理、多元主义、劳动认可、集体对话、性别相关暴力、多语言工作坊、媒体叙事。

背景与问题

• 问题/挑战: 人工智能开发中的数据标注通常具有剥削性、脱离语境，并且低估了标注者的专业知识，从而延续了权力不平等和殖民结构。很少有实证研究探讨如何在实践中实施女性主义和参与式原则。
• 重要性: 解决这些问题对于创建伦理、包容且敏感于语境的人工智能系统至关重要，特别是在涉及性别相关暴力的媒体报道领域，这些报道影响着公众理解和政策制定。
• 动机与相关工作: 之前的研究提出了参与式和女性主义人工智能的框架，但缺乏具体的实施案例。本文基于女性主义人机交互（HCI）和参与式人工智能的文献，聚焦于数据标注作为重新构想人工智能开发实践的场域。

解决方案

• 提出的方法: 基于女性主义认识论和参与式设计原则的协作多语言数据标注工作坊。
• 创新点:
  1. 展示工作坊如何在数据标注中促进对话、社区建设，并打破知识等级。
  2. 引入“战术共识”概念，以平衡多元主义与标注标准化。
  3. 提出“多层次对话”概念，以适应参与者不同层次的参与。
  4. 探讨在承认劳动的同时抵制交易化动态的张力。
• 流程与关键技术:
  1. 组织与活动家、记者和研究人员的多语言工作坊，共同标注关于女性杀害的新闻文章。
  2. 通过迭代设计流程，结合反馈优化分类法和标注实践。
  3. 设置分组讨论室，以进行本地化和语境特定的讨论。
  4. 进行异步标注，并提供集体支持机制（如聊天群组、每周会议）。
  5. 对参与者进行补偿，并通过多种方式认可他们的贡献。

结果

• 具体发现:
  • 来自35个国家的79名参与者参与了工作坊，其中28人继续参与异步标注。
  • 分类法被优化以包括文化特定类别（如对受害者的污名化、对施害者的过度关注）。
  • 每位参与者标注了1至60篇文章（平均=15.5），补偿金额从40美元到150美元不等。
  • 工作坊促进了参与者之间的团结、批判性反思和相互学习。
• 相较基线的优势:
  • 将标注从孤立、脱离语境的任务转变为协作性、关系性的实践。
  • 实现了文化敏感和语境特定的标注，解决了传统标注流程的局限性。
  • 将标注者提升为共同创作者，挑战传统的知识等级结构。
• 实验/评估:
  • 工作坊包括三语和语言特定的会议，并设置分组讨论室以进行本地化讨论。
  • 通过反馈调查和对转录内容的开放编码进行迭代改进。
  • 参与者对工作坊的学习和社区连接给予高度评价（知识获得平均评分4.6/5）。
• 局限性与未来工作:
  • 在全球背景下补偿参与者的物流挑战。
  • 在多元主义与分类法标准化需求之间的平衡困难。
  • 未来工作将探索记录分歧的方法，并将主观性融入人工智能模型。

总结

本文呈现了一个以女性杀害新闻报道为主题的参与式女性主义数据标注工作坊案例研究。通过整合关怀、多元主义和劳动认可等女性主义原则，工作坊将标注转变为协作性和关系性的过程。主要贡献包括“战术共识”概念，用于平衡多元主义与标准化，以及“多层次对话”概念，用于适应不同参与者的参与深度。研究强调了参与式方法在打破人工智能开发中的剥削性实践并促进伦理、语境敏感的人工智能开发方面的潜力。