谁的人工智能梦想？在数据标注中寻找期望

文献标题

Whose AI Dream? In search of the aspiration in data annotation

文献信息

• 主题领域: 数据标注劳动的研究，聚焦人工智能 (AI) 数据生产过程中的劳动力问题。
• 关键词: 数据标注, AI 劳动, 工作未来, 定性研究, 人工智能伦理, 数据质量, 全球南方, 工作文化
• 出版会议: CHI Conference on Human Factors in Computing Systems (CHI ’22), 2022 年 4 月 29 日 - 5 月 5 日
• DOI: https://doi.org/10.1145/3491102.3502121

研究背景与问题

• 问题与挑战:

  • 数据是支持人工智能 (AI) 和机器学习 (ML) 模型开发的核心，但标注数据所涉及的人力劳动却很少受到重视。
  • 数据标注行业发展迅速，但标注工作的劳动条件、职业成长路径以及对个人标注工的利益分配情况存在诸多问题，如高工作压力、低职业稳定性和极少的职业发展。
  • 当前的数据标注行业缺乏对工人实际工作的深刻理解，尤其是作为全职标注工人个体的职业体验，并且工作条件很快在组织化的环境下变得更加隐形。

• 研究重要性:

  • 高质量的标注数据是 AI/ML 系统成功的必需品，而大多数标注工来自于全球南方国家。理解标注工人的现状可以对产业政策、工作伦理和 AI 的可持续发展有重要贡献。
  • 数据产生过程的权力动态和规范对 AI 伦理讨论至关重要。

• 研究动机与相关工作:

  • 已有文献更多地关注数据标注中的主观性、偏差和效率问题，而忽略了标注工作的组织结构以及其对标注者的影响。
  • 数据伦理与社会公正的讨论逐渐进入 AI 领域，但尚缺乏对推动数据标注过程改进的共享理解和具体建议。

解决方案

• 方法和视角:

  • 采用基于实地研究的定性方法，通过半结构化的深度访谈，调查包括数据标注者、行业专家和 AI/ML 工程师在内的三个利益相关方群体。
  • 样本包括 25 名印度标注工人，10 名来自全球的标注行业经理，以及 12 名依靠数据支持工作的 ML/AI 工程师。

• 研究方法的优势与创新:

  • 提供了对数据标注作为组织化工作的首次全面研究视角，识别并揭示其组织动态、结构性权力关系及其对工人的职业路径的限制。
  • 将标注工人的工作实践与其职业现状对比，通过分析组织制度对标注工职业成长的影响，桥接伦理 AI 讨论与劳动者权益保护实践。

• 实施步骤与技术:

  • 数据采集：数据通过与两个第三方招聘机构合作招募访谈者。访谈涵盖了从招聘到培训、评估及职业晋升等多种主题。
  • 数据分析：基于扎根理论分析访谈转录稿，提取重要主题。作者还通过专家讲解和工具使用测试，进一步补充访谈的实证材料。
  • 语境化：定性分析关注标注者经验核心，以此讨论组织实践如何塑造劳动条件，与 AI/ML 数据消费需求之间的张力。

研究成果

• 具体成果:

  • 数据标注行业通过技术规范和权力结构高度组织化，标注者工作在严格目标任务（如每日目标完成率与精确率评估）的框架下进行。
  • 这一组织化为数据消费者（如 ML 工程师）提供了质量与成本间的平衡，但对标注工个人的成长支持有限，许多工人在短期合同中徘徊，平均合同期仅 12-18 个月。
  • 尽管拥有技术和工程背景，多数标注工并未从事技术集中型 AI 岗位，职业路径的断裂严重制约了其长期发展。

• 相较现有解决方案的优势:

  • 将标注工人的整体经验纳入讨论，覆盖工作实践、组织动态以及工人的职业期望。
  • 提出了具体的政策和实践建议，包括对职业发展路径的再中心化、数据工作中的社会正义以及增强透明性的设计。

• 实验与评估结果:

  • 标注工人的平均职业稳定性低（合同期短，缺乏工资提升机制），工作压力大，工人对职业成长与标注工作的实际意义间存在认知矛盾。
  • 来自标注管理的严格质量控制标准（如“零错误政策”）未被利用来改善机器学习模型结果的多样性，反而增加了工人的工作负担。

• 局限性与未来方向:

  • 数据主要取自服务于自动驾驶汽车行业的印度标注公司，可能无法全面反映其他行业标注工人的状况。
  • 数据采集受到 COVID-19 疫情影响，缺乏对实际工作场景的深入观察，未来研究可集中于实地观察和数据劳动流程的细化研究。
  • 倡导更详细地记录数据生产流程（例如数据劳动力文档）以支持伦理审查，填补现有 AI 合规政策的漏洞。

总结来看，该研究从多利益相关方的角度探索了数据标注行业的结构性问题，为改进 AI 数据伦理和支持全球南方劳动力提供了深刻洞察与重要的行动建议。