人工智能开发中的领域专家技能贬值

文献标题

The Deskilling of Domain Expertise in AI Development

文献信息

• 主题领域: 人机交互 (HCI)、人工智能 (AI)、低资源环境中的技术发展
• 关键词: ML, 劳动研究, 技术降技化, 泰勒主义, 一线工作者, 数据质量, 数据采集, 领域知识

研究背景与问题

• 作者发现的挑战: 在建立人工智能模型时，一线工作者（例如农民、社区健康工作者和医生）的重要领域知识未被充分利用。他们的角色常被简化为数据收集员且缺乏认可。研究表明，这种对一线工作者的降技化导致数据质量问题，而数据质量差是低资源环境中 AI 模型开发的核心挑战。
• 问题重要性: 领域专家的知识对于有效的数据收集和模型开发具有不可或缺的价值。AI 的目标通常是模拟甚至超越领域专家的能力。然而，当领域知识被忽视或剥夺时，AI 模型可能无法实现其预期目标，并可能产生误导性结果。
• 研究动机: 作者着眼于理解和改善 AI 开发流程中的工作者与开发者的关系，强调领域知识的重要性并探索使领域知识成为构建 AI 的核心部分的方法。

解决方案

• 作者提出的方法: 基于与 68 名 AI 开发者的访谈，作者分析了开发者对一线工作者的看法及其对数据质量的干预方式，提出了将一线工作者视为“领域专家”的概念，并架构了一种以领域专家为中心的 AI 开发方法。
• 创新之处:
  • 定位并揭露一线工作者领域知识在 AI 开发中的被降技化现象。
  • 强调领域专家不仅是数据收集工作中的重要贡献者，同时也是 AI 系统设计和开发的潜在伙伴。
  • 提出设计上的结构性变革建议，包括将领域专家纳入整个 AI 工作流程的策略。
• 实施步骤与技术:
  • 通过定性访谈收集开发者对数据工作者的看法和行为的洞察。
  • 分析开发者如何管理数据质量（如监控、激励机制和自动化干预）。
  • 提供解决问题的具体建议，包括直接与领域专家合作、改进问题定义和模型设计流程。

研究成果

• 具体成果:
  • 作者指出开发者常将一线工作者视作腐败、懒惰和不合规的“数据收集员”，忽略了其领域知识的重要性。
  • 开发者倾向于采取监控、激励、自动化等手段管理一线工作者的数据采集工作，却不主动接触或深入理解其真实工作情境。
  • 许多开发者的干预方式对数据质量有所改善，但可能导致工作者感受到压力或剥削。
• 优势:
  • 通过重新定义一线工作者为领域专家，将社区知识与技术需求结合，可以改善数据质量，推动 AI 的有效性和公正性。
  • 作者的洞察可以帮助解决低资源环境下数据质量低的问题，同时增加领域专家的参与感和对技术的信任。
• 实验或评估结果:
  • 研究通过访谈记录了开发者对过分依赖监控和自动化的见解，并揭示了这些方法的局限性。直接与领域专家互动的案例则展现了潜在的积极变化。
• 局限性与未来方向:
  • 作者的研究仅关注开发者的观点，未来可扩展至一线工作者的体验。
  • 需要开展长期研究以观察 AI 项目对领域知识的长期影响。
  • 建议通过更广泛的政策和行业规范，促使领域知识纳入 AI 开发的标准实践。

总结和建议

• 结论: AI 开发过程中的领域知识被降技化严重影响了低资源环境中的技术成果。人工智能的发展需从控制领域知识转向与领域专家的协同合作。
• 建议:
  • 将领域专家纳入整个人工智能开发流程，从问题定义到算法设计。
  • 为一线工作者提供公平的薪酬和贡献认可机制。
  • 开发者需更加反思其技术实践，根据上下文和人类因素调整技术设计。

这项研究为改善低资源环境中的 AI 开发实践提供了新的视角，强调了领域知识与社区合作的重要性，呼吁建立更公平和更具包容性的技术开发体系。