情境AI指南：共同设计一个工具包，以支持多利益相关者在公共部门AI提案早期阶段的审议

文献标题

The Situate AI Guidebook: Co-Designing a Toolkit to Support Multi-Stakeholder Early-stage Deliberations Around Public Sector AI Proposals

文献信息

• 主题领域: 公共部门AI工具的早期阶段设计与决策支持
• 关键词: 公共部门AI, 参与式设计方法, 责任AI, 技术治理与政策, AI伦理工具包

研究背景与问题

关键挑战与问题发现

• 公共部门机构正在快速部署AI系统以支持关键决策，例如儿童福利、刑事司法和公共卫生。然而，许多AI系统在实际服务中失败，导致资源浪费和社会负面影响。
• 这些失败通常可以追溯到AI生命周期的早期阶段（例如问题的形式化和设计构思），其中许多AI工具从设计一开始就可能面临失败风险。
• 现有的AI伦理工具包主要针对工业场景，且通常假设开发某个AI工具的决定已经被做出。这导致早期阶段关于是否以及如何开发AI工具的系统性决策支持缺失。

重要性与研究动机

• 公共部门AI系统的影响涉及历史上受不公正影响的边缘化社区，因此责任设计尤其重要。
• 设计一种支持公共部门早期阶段多方利益相关者（例如政策制定者、AI开发者、社区代表）深入讨论AI开发决策的工具，将能避免不必要的社会和技术风险。

已有相关工作

• 现有AI伦理工具包（如Model Cards和算法影响评估工具）主要作为沟通工具，但它们通常不足以支持早期的协作反思过程。
• 文献强调技术方案的设计部分往往隐含政策决策，导致与社区价值冲突。现有工具包较少关注如何支持多方协作，尤其是在复杂、高风险的社会场景中。

解决方案

方法或解决方案概述

• Situate AI Guidebook是一个被共同设计的工具包，旨在支持公共部门机构早期阶段关于是否开发或部署某个AI工具的深思熟虑决策。
• 采用迭代式共同设计方法，与机构领导、AI开发者、一线员工和社区倡导者协作开发出一套工具，内容包括问题引导、外部资源参考、决策沟通模板以及相关流程设计。

创新之处

• 多主题指南：包括对目标与用途、社会与法律考量、数据与建模限制、组织治理因素的讨论问题，共计132个问题。
• 模块化内容设计：问题被分级以支持灵活的配置与应用，这使工具包能够根据机构的实际需求进行调整。
• 设计原则：
  • 促进反思性讨论（例如，不鼓励仅简单的“是或否”回答）。
  • 确保工具流程设计具有实际操作性（例如，与机构现有流程易于集成）。

实施步骤与技术细节

1. 半结构化访谈：与研究参与者讨论他们在AI设计与决策中的挑战与需求。
2. 迭代共同设计：参与者在协作平台（如Mural）中提出批判性问题并验证已有问题。
3. 工具包开发与改进：基于访谈和设计环节，整合提议问题并优化内容。
4. 建议的流程设计：如四阶段决策过程，包括话题与参会者识别、问题选择与讨论、总结与行动项目定义，以及公开报告与改进。

研究成果

具体成果

• 工具成果:

  • Situate AI Guidebook涵盖132个问题，分为“目标与用途”、“社会与法律考量”、“数据与模型约束”、“组织治理”四大主题。
  • 制定了问题的讨论模板、决策流程指南和成功标准。

• 设计原则验证：

  • 确认模块化设计能够支持机构根据不同场景灵活应用。
  • 使问题设计既符合技术规范，也关注社会与伦理方面。

与现有解决方案相比的优势

• 该工具包首次从公共部门需求出发设计，可弥补现有主要针对工业上下文工具包的不足。
• 引入反思性讨论以平衡技术指标与社会影响的权重。
• 支持跨部门多方深入协作，避免“孤岛式”设计问题。

实验或评估结果

• 用户验证：通过与32位参与者的共同设计过程，确认工具包问题与流程的适用性。
• 参与者认为工具设计能够有效支持早期阶段决策讨论，同时体现了责任AI开发和社会伦理的优先考虑。

局限性与未来方向

• 局限性：
  • 当前设计主要面向机构内部员工，未直接覆盖社区成员的参与流程。
  • 工具的实际落地效果尚未通过长期试点评估。
• 未来方向：
  • 增强工具包支持社区成员参与特定AI决策讨论的功能。
  • 研究工具的跨领域适配，如如何将其用于医疗等高风险的工业AI场景。
  • 探索政策激励措施以促进责任AI工具的广泛采纳。

总结

Situate AI Guidebook为公共部门AI设计的早期阶段提供了结构化、反思性、协作性的决策支持框架与工具。通过与公众服务机构、一线员工及社区倡导者的共同设计，该工具旨在避免AI工具在社会高风险场景中的不当开发与使用，并为推进责任AI工具包的发展提供了一个全新的模板。