自动化、协助、避免：案例工作者对在公共部门决策过程中应用大型语言模型辅助的视角

文献标题

Automate, Assist, Avoid: Caseworkers’ Perspectives on Applying Large Language Model-Based Assistance in Public Sector Decision-Making Processes

出版信息

• 主题领域: 大型语言模型（LLMs）在公共部门决策过程中的应用。
• 关键词: 大型语言模型, 公共部门, 决策, 个案工作者, 自由裁量权, 人机交互, 生成式人工智能, 定性研究, 芬兰公共机构, AI辅助工具。

背景与问题

• 问题/挑战: 对LLMs如何有效支持复杂的公共部门决策任务（包括法律、文化和程序变量）缺乏深入理解。
• 重要性: 公共部门的决策涉及高风险、敏感的公民案例，需要在效率、公平和自由裁量权之间取得平衡。AI的误用或过度依赖可能导致有害后果，正如过去的一些丑闻所示。
• 动机与相关工作: 先前研究探讨了AI在公共决策中的应用，但通常集中于自动化或预测分析，忽视了依赖情境的复杂任务。目前尚无共识明确AI工具如何在不削弱个案工作者自由裁量权或专业性的情况下提供有意义的支持。

解决方案

• 提出的方法: 通过定性方法（包括访谈和研讨会）调查个案工作者对将LLMs整合到其决策过程中的看法。
• 创新点:
  1. 将决策概念化为多步骤过程（案例理解、信息搜索、自由裁量权使用、案例解决），而非单一任务。
  2. 确定LLMs可以协助的具体子任务，例如翻译、信息检索和行政语言到口语的转换。
  3. 强调在决策中保持人类自由裁量权和责任的重要性。
  4. 提出针对公共部门需求设计的LLM工具路径。
• 程序与关键技术:
  • 对来自芬兰某公共机构的10名个案工作者进行了9次访谈（每次45–90分钟）和2次研讨会（每次3小时）。
  • 使用主题分析法识别决策中的挑战、观点和LLMs的潜在用途。
  • 通过参与者反馈和定性编码迭代发展研究发现。

结果

• 具体发现:
  • 决策过程包括四个步骤：案例理解、信息搜索、自由裁量权使用和案例解决。
  • 个案工作者面临的挑战包括信息分散、语言翻译以及将行政指南适配于独特案例。
  • LLMs可以在以下方面提供帮助：
    • 在语言之间以及行政语言与口语之间进行翻译。
    • 检索和总结相关的最新指南。
    • 确认简单问题或提供遗漏信息的提示。
• 相较基线的优势:
  • LLMs在需要语言和情境灵活性的子任务中提供了细致的支持，这与传统规则或机器学习工具不同。
  • 个案工作者强调LLMs应支持而非取代他们的自由裁量权和判断力。
• 实验/评估:
  • 数据来自不同部门（客户服务、福利处理、债务催收）。
  • 研讨会促进了创意生成并验证了研究发现。
  • 个案工作者对生成式AI的先前经验影响了他们对潜在工具用途的看法。
• 局限性与未来工作:
  • 小样本量（10名参与者）限制了研究的普适性。
  • 研究聚焦于单一芬兰公共机构，结果可能在其他文化或组织背景下有所不同。
  • 未来研究应探索跨机构比较、AI素养的影响以及LLM部署中的伦理考量。

总结

本研究探讨了LLMs如何协助公共部门个案工作者的决策过程，强调决策是一个需要自由裁量权和情境理解的多步骤过程。个案工作者识别了LLMs在翻译、信息检索和行政语言到口语转换等任务中的潜在用途，同时强调保留人类判断力和责任的重要性。研究结果为设计符合公共部门工作流程复杂需求的LLM工具提供了可操作的见解，为更有效和更具伦理性的AI整合铺平了道路。