用户驱动算法审核中的参与和劳动分工：普通用户如何合作揭示算法危害？

文献标题

Participation and Division of Labor in User-Driven Algorithm Audits: How Do Everyday Users Work Together to Surface Algorithmic Harms?

文献信息

• 主题领域: 用户驱动的算法审计与社会技术交互
• 关键词: 算法审计, 用户驱动审计, Twitter, 图像裁剪, 性别偏见, 种族偏见, 用户生成内容, 用户分工

研究背景与问题

• 作者发现的问题: 在算法审计中，用户如何通过平时的交互发现并讨论算法偏见，用户在这种审计中的分工和参与模式尚不明确。
• 重要性: 算法偏见对社会公正与技术公平性具有重要影响，推动用户参与审计可以揭示更多潜在的有害算法行为。
• 研究动机与相关工作:
  • 专家驱动的审计虽然有效，但无法完全识别影响边缘群体的新型偏见。用户驱动的审计作为一种新兴形式，有助于解决这些限制。
  • 相关工作包括用户如何形成对算法的“民间理论”，以及如何通过日常交互探索和审计算法行为。

解决方案

• 方法或解决方案:
  • 作者对四个用户驱动的算法审计案例进行了比较分析，分别是 Twitter 图像裁剪、ImageNet Roulette、Portrait AI 和 Apple Card。
  • 使用 Twitter 数据分析用户的参与模式和分工，通过机器学习分类用户生成的内容。
• 创新点: 提出了一种基于分类的劳动分工方法，将用户生成内容划分为五类角色：假设、证据收集、信息扩散、背景化和情绪升级。
• 实施步骤:
  1. 数据收集：使用 Twitter API 和关键词搜索收集相关推文，共收集到 17,984 条相关内容。
  2. 数据分类：开发机器学习模型对推文内容进行分类，以识别主要的用户角色及其贡献。
  3. 定量与定性分析：分析数据中的用户参与模式和推文内容的角色分布。

研究成果

• 具体成果:
  1. 从四个案例中描述了用户参与的总体模式，包括用户数量、活跃峰值和参与持续时间。
  2. 定义了五种用户劳动分工角色，包括假设、证据收集、扩散、背景化和情绪升级，并分析了它们在不同案例中的分布。
  3. 强调了短期、高强度的推文峰值对用户驱动审计的成功影响。
• 与现有解决方案的对比: 用户驱动审计与传统专家审计的区别在于其自发性、情绪化反馈以及推动社会意识的潜力，而非严格的科学验证过程。
• 实验或评估结果: 在四个案例中，Twitter Cropping 案例拥有最多的推文数量和用户参与度，其次是 ImageNet Roulette 和 Apple Card。
• 局限性与未来方向:
  • 局限性：研究范围限于四个案例，未分析图片本身可能导致的结果；未能全面捕获用户驱动审计的所有特性。
  • 未来方向：设计支持用户驱动审计的工具，提高算法透明度，增强用户参与和数据收集能力，优化推文分类模型。

设计与政策参考

• 设计层面：改善用户讨论和协作工具，解决数据访问和可见性问题，设计结构化支持工具以推动用户参与。
• 政策层面：开发政策和法规提升算法透明度与问责机制，支持小规模用户社区形成与信息共享。

这篇论文通过对用户驱动算法审计的深入研究，为解决算法偏见问题提供了新见解和设计方向，对未来的研究和实践具有重要启发意义。