利用LLM提供有效公共服务的机遇与风险

文献标题

The Promises and Perils of using LLMs for Effective Public Services

出版信息

• 主题领域: 人工智能及语言模型在公共部门服务中的应用，重点关注儿童福利。
• 关键词: LLMs, 儿童福利, 公共部门, BERTopic, LocalLLM, 案件管理, 社会工作, AI伦理, 参与式设计, 主题分析。

背景与问题

• 问题/挑战: 政府正在越来越多地采用诸如LLMs等人工智能工具来改善公共服务，但在儿童福利等高风险领域，其可行性、局限性以及潜在危害尚未得到充分探讨。
• 意义: 在儿童福利中有效使用人工智能可以改善服务交付，减少不必要的家庭介入，优化社工的工作效率，从而解决关键的社会需求。
• 动机与相关研究: 先前研究探讨了计算文本分析在公共部门中的应用，包括预测算法和主题建模。然而，关于LLMs如何支持儿童福利系统中复杂、情境依赖的决策仍存在研究空白。

解决方案

• 提出的方法: 应用BERTopic和LocalLLMs（Llama 3.1）分析儿童福利案件记录和服务计划，旨在跟踪案件进展并识别主题关联。
• 创新点:
  1. HCI研究人员与儿童福利从业者之间的合作研究，探讨人工智能在操作性挑战中的应用。
  2. 对服务计划和常规案件记录进行主题分析，以识别共享和独特的主题。
  3. 评估LocalLLMs在跟踪进展和识别儿童福利案件中的主题趋势方面的表现。
  4. 提供设计适合公共部门需求的人工智能工具的参与式设计路线图。
• 过程与关键技术:
  • 对儿童福利文档（服务计划和常规案件记录）进行预处理和匿名化。
  • 应用BERTopic对文本数据进行主题聚类。
  • 使用LocalLLMs识别案件记录中与服务计划活动相关的内容。
  • 对LocalLLM输出进行人工验证，并对与活动相关和不相关的案件记录进行主题分析。

结果

• 具体发现:
  • BERTopic在常规案件记录中识别了60个主题，在服务计划目标中识别了38个主题，在活动中识别了82个主题，这些主题被归类为高层次主题，如育儿、健康和儿童监护。
  • LocalLLMs在活动相关性方面与人工标签达成了中等一致性，Cohen’s kappa从0.604（短案件）到0.402（长案件）不等。
  • 在极长案件中，与活动相关的案件记录减少，反映了现有服务计划未能捕捉到的新兴儿童福利问题。
• 相较基线的优势:
  • LLMs在细粒度主题分析和诊断洞察方面表现出潜力，相较传统预测模型更具优势。
  • BERTopic提供了比LDA和LMF更细致的语义聚类。
• 实验/评估:
  • 数据集: 来自加拿大某儿童福利机构的720个案件，包括52,748条常规案件记录和1,213个服务计划。
  • 评价指标: 一致性率、Cohen’s kappa、假阳性/假阴性率。
  • 人工验证和跨标准化案件时间线的主题跟踪。
• 局限性与未来工作:
  • 研究结果可能无法推广到其他儿童福利系统或公共部门。
  • 常规案件记录反映了工作人员的主观感知，可能包含偏见或遗漏。
  • 未来工作应探索更多LLMs，细化主题类别，并在多样化数据集上验证研究结果。

总结

本研究探讨了BERTopic和LocalLLMs在分析儿童福利案件记录和服务计划中的应用，揭示了主题关联以及跟踪案件进展中的挑战。尽管LLMs在诊断洞察和主题分析方面表现出一定潜力，但在需要基于社会工作实践的自由裁量判断的复杂案件中仍显不足。研究结果强调了设计以人为中心的参与式人工智能工具的重要性，这些工具应支持而非取代社工的决策。未来研究应聚焦于优化方法学、扩展数据集以及解决公共部门人工智能应用中的系统性限制。