改善儿童福利中的人工智能合作伙伴关系：理解工作人员的实践、挑战和对算法决策支持的期望

文献标题

改善儿童福利领域的人机合作：理解工作人员的实践、挑战及对算法决策支持的需求

文献信息

• 主题领域: 人工智能辅助决策在人类高风险社会福祉工作中的应用
• 关键词: 算法辅助决策、人机合作、儿童福利、人工智能、社会工作、决策支持工具、上下文分析、信任与依赖、算法公平性、组织文化

研究背景与问题

• 问题及挑战:

  • 算法辅助决策系统（ADS）被引入到包括儿童福利在内的高风险社会工作领域。这些工具承诺通过补充或改善人类决策来提高效率和公平性，但实际上也可能引入偏见或其他形式的错误。
  • 当前ADS使用的一个典型案例“Allegheny家庭筛选工具（AFST）”已部署多年，尚不清楚一线员工在实践中如何看待、使用此工具，以及他们面临的主要挑战和需求。
  • 缺乏关于人类和AI系统在真实环境中如何互补工作的全面认识，特别是在政府公共部门的社会工作领域。

• 研究重要性:

  • 决策过程对儿童安全及其家庭未来至关重要。在高风险的儿童防护领域中，确保算法工具可靠且与人类决策过程有效结合至关重要，否则可能对家庭和个体权益造成不可挽回的影响。
  • 深入理解算法在实践中的作用，有助于设计出更加公平、高效的人机协作模型。

• 研究动机与相关工作:

  • 既有研究主要集中在回顾性量化分析，很少涉及实际使用场景中的一线工作人员视角。
  • 以往文献强调人机合作可能改善决策效果，但也发现AI低效、不透明或与人类目标不匹配时会挫伤参与者信心。
  • 研究基于已有的社会决策理论及人机交互设计框架，目的是找到促进更有效人机伙伴关系的方法。

解决方案

• 研究方法:

  • 在美国宾夕法尼亚州Allegheny县一儿童福利机构进行实地研究，包括上下文探究和半结构化访谈。
  • 通过37.5小时的现场观察，以及对9名电话接线员和4名监督员的访谈，理解工作人员对AFST的当前使用实践、挑战以及潜在设计改进。

• 创新与方法论:

  • 提供关于AFST使用场景的首个深入定性研究，补充以往聚焦于量化数据的研究缺口。
  • 从社会工作者的具体经验出发，探索ADS与人类决策目标的不一致性及其后果。

• 实施步骤与技术:

  • 使用上下文探究方法观察工作人员在电话筛选、数据输入及使用AFST分数过程中的行为。
  • 通过访谈验证观察结果，并进一步了解工作人员对AFST的看法、经验以及改进建议。

研究成果

• 主要发现:

  • 工作者利用自身经验弥补算法工具的不足，校准对算法输出的依赖。例如，他们会综合考量背景细节（如举报者意图、文化误解等），这部分信息通常未被算法捕获。
  • 工作者对AFST的理解大多是通过非正式途径获得，如与同事讨论和观察分数输出的行为模式；但这些自主积累的经验可能存在不完整、甚至误导性。
  • 组织内部的压力和激励机制，例如“避免过多推翻算法建议”的隐性规定，显著影响了工作人员的决策。
  • AFST预测的长远风险目标（两年内再置换风险）与工作人员关注的短期安全目标不吻合。这种目标不一致性是工人使用算法工具时产生摩擦的主要来源。

• 优势:

  • 研究揭示了工作人员如何通过人类特有的背景知识弥补算法模型的盲点，提出在设计ADS时需重视人机互补的潜力。
  • 突出了制度性因素（如组织文化与工作流程）对基层人员信任和依赖算法的影响，从而丰富了算法决策支持在实际公共服务领域中应用的理论基础。

• 实验或评估结果:

  • 虽然有些工作人员看到算法的潜在优点，但对模型透明性、预测目标及分数生成逻辑的缺乏了解导致了普遍的怀疑。
  • 访谈和观测显示，许多工作人员将算法视为工作的“辅助手段”而非决定性依据。

• 局限性与未来方向:

  • 局限性：
    • 研究聚焦于一个案例（AFST），结论的普适性需在其他社会工作领域进一步验证。
    • 样本数量较小，可能无法完全代表更广泛的工作者群体的各种经验。
  • 未来方向：
    • 提升算法工具的透明性和对工作人员的教育培训，帮助他们更有效地使用工具决策。
    • 探索如何在设计阶段通过利益相关者共同参与，减少人类决策目标与算法预测目标之间的不一致性。
    • 更系统地研究组织文化与激励设计对人们信任算法的长远影响。