社会技术挑战建模：医疗保健和社会福利中负责任人工智能的设计方法

文献标题

Sociotechnical Challenge Modeling: A Design Method for Responsible AI in Healthcare and Social Welfare

出版信息

• 主题领域: 面向医疗保健和社会福利的负责任人工智能设计方法。
• 关键词: 负责任人工智能，社会技术挑战，机器学习，医疗保健，社会福利，设计方法，参与式设计，跨学科协作，缓解规划，人机交互。

背景与问题

• 问题/挑战: 医疗保健和社会福利领域的机器学习（ML）工具面临社会技术挑战，例如僵化的工作流程、不完整的数据、结构性歧视以及与专业价值观不匹配的假设。实践者缺乏有效识别和缓解这些挑战的方法论支持。
• 重要性: 解决社会技术挑战对于在资源有限的领域（如医疗保健和社会福利）中伦理、有效且高效地部署机器学习工具至关重要。
• 动机与相关工作: 现有负责任人工智能（RAI）方法通常侧重于技术设计或规范性考虑，但缺乏系统性方法来解决社会技术挑战。此前的方法如AI Failure Cards和AI Mismatch Approach探讨了失败预测，但未能全面整合社会技术视角。

解决方案

• 提出的方法: 社会技术挑战建模（STCM），一种基于工作坊的设计方法，帮助实践者识别和解决机器学习部署中的社会技术挑战。
• 创新点:
  1. 将社会技术框架与实际工具（如挑战卡和缓解措施工作表）相结合的结构化设计方法。
  2. 在医疗保健和社会福利的真实场景中对STCM进行实证评估。
  3. 聚焦于跨学科协作和资源有限的环境。
  4. 材料可自由获取并适应使用。
• 流程和关键技术:
  1. 挑战优先级排序: 参与者使用社会技术挑战卡识别并根据可能性和严重性对挑战进行排序。
  2. 缓解措施规划: 参与者使用缓解措施工作表结合预定义和新创意，进行头脑风暴并选择缓解策略。
  3. 材料包括实体卡片、工作表、引导员指导和工作坊模板，方便采用。

结果

• 具体发现:
  • STCM揭示了新的社会技术挑战，并使参与者的视角从技术转向社会技术相互依赖性。
  • 挑战卡上的示例被高度评价，有助于促进理解和讨论。
  • 预定义的缓解措施被认为过于规范化，导致修订为更开放的头脑风暴方式。
  • 参与者报告将STCM的成果纳入项目规划。
• 相较基线的优势:
  • STCM提供了一个系统框架，相较于临时或空白工作坊更具结构性。
  • 促进跨学科协作，并在不同利益相关者之间建立共同理解。
• 实验/评估:
  • 在英国两家组织（ASC01和HC01）中进行的现场实验，共26名参与者。
  • 活动包括挑战优先级排序和缓解措施规划，随后进行访谈和观察。
  • 数据通过框架方法分析，共生成113个开放编码，涵盖6个主题。
• 局限性与未来工作:
  • 由于时间限制，HC01对缓解措施规划的评估有限。
  • 主要聚焦于判别式机器学习工具，尚未测试对生成式人工智能的适用性。
  • 特定于医疗保健和社会福利领域，广泛的通用性需要进一步适配。
  • 未来工作包括纵向研究以及在其他领域的部署。

总结

社会技术挑战建模（STCM）是一种新颖的设计方法，旨在帮助医疗保健和社会福利领域的实践者解决机器学习部署中的社会技术挑战。通过结构化工作坊，STCM使跨学科团队能够使用挑战卡和工作表等具体工具识别、排序和缓解挑战。现场实验表明，该方法在促进协作、揭示新挑战以及将成果整合到项目规划中具有实用性。尽管目前聚焦于特定领域和判别式机器学习工具，STCM提供了一个可转移的框架，用于资源有限环境中的负责任人工智能设计。未来工作将探索其对生成式人工智能及其他领域的适用性。