勾画AI概念及其功能和示例：重症监护室中的AI创新

文献标题

Sketching AI Concepts with Capabilities and Examples: AI Innovation in the Intensive Care Unit

文献信息

• 主题领域: 人机交互、AI设计与医疗创新
• 关键词: 脑风暴、概念生成、人机交互设计、健康护理、AI失败率、高风险应用
• 发表会议: CHI Conference on Human Factors in Computing Systems (CHI ’24)

研究背景与问题

• 问题与挑战:

  • 虽然人工智能技术在实验室环境中表现出色，但在实际应用中往往失败，特别是在医疗领域。
  • 临床医疗AI系统的实用性和可操作性经常不明确，导致临床医生不愿使用这些技术。
  • 多学科团队在AI项目开发早期阶段的协作中经常面临挑战，包括问题定义和概念生成。

• 重要性:

  • 医疗是一个高风险的领域，AI失败可能造成严重后果（如延误治疗、预测错误）。
  • 目前85%的AI项目在预部署阶段失败，对资源和时间是一种巨大浪费，需要根本性方法来解决这一问题。

• 研究动机与相关工作:

  • 基于HCI研究的发现，提出以人为中心和参与式方法来改善AI开发。
  • 当前设计实践中逐步开始采用技术能力与用户需求相结合的方法，以生成对AI性能要求较低且能带来重大价值的解决方案。
  • 针对医疗护理领域（如ICU）进行系统性探索，补充已有的关于AI失败原因的研究。

解决方案

• 方法与创新:

  • 三阶段设计过程:
    • 第一阶段：脑风暴：
      • 初步设计活动以用户需求为中心，随后加入基于AI能力的“匹配方法”，提升设计空间的覆盖面。
      • 使用AI能力的抽象和示例支持团队理解技术的可能性与局限。
      • 采用影响-投入矩阵和任务专业程度-模型性能矩阵评估点子，并确保结果涵盖低风险、可实现的解决方案。
    • 第二阶段：问题定义：
      • 通过Do-Reason-Know工作表明确每个概念的交互形式、模型推理和数据需求。
      • 深入探讨12个概念（如药物预先订购、病人优先级排序）以探索其可行性和潜在的技术实现挑战。
    • 第三阶段：概念设计与协同设计：
      • 选择一个关于预测患者是否适合进行SAT/SBT（呼吸试验）的AI概念，并创建低保真原型。
      • 与护士和呼吸治疗专家进行协同设计，收集反馈并进一步改进设计。

• 关键技术与实践:

  • 开发AI能力抽象与案例资源，用以支持跨学科团队启发式建模和概念生成。
  • 使用分阶段工作表（Do-Reason-Know）明确AI概念各部分的详细要求，尤其是数据质量和模型行为的风险评估。
  • 通过反复问询如何简化概念并减少模型性能要求，将复杂问题分解为低风险步骤。

研究成果

• 具体成果:

  • 多学科团队协作框架: 成功设计了一种促进协作的体系，涵盖早期AI创新的脑风暴、问题定义和概念设计过程。
  • 工具与方法: 创建了AI能力与示例资源集，Do-Reason-Know设计模板，以及评估矩阵，显著改善了团队生成与筛选概念的质量。
  • 示例概念设计:
    • 推测病人是否符合进行SAT/SBT试验的条件，简化临床团队的决策过程。
    • 预测药物配送时间以减少药房延迟，提高患者护理效率。

• 优势:

  • 避免传统用户中心设计方法带来的缺陷（例如生成无法实现或不需要AI的概念）。
  • 鼓励跨学科团队有效探讨技术可能性，扩展设计空间，并减少高风险概念的出现。

• 实验与评估结果:

  • 第二次脑风暴比第一次方法有效，生成了覆盖更广设计空间且实现难度较低的概念。
  • 多数新设计能利用已有ICU数据集生成有临床价值的解决方案。
  • 最终设计的SAT/SBT试验原型得到护理人员和呼吸治疗师初步认可，且其反馈有助于进一步设计调整。

• 局限性与未来方向:

  • 局限性: 未对全部生成的概念进行后续实现评估，未验证设计理念的实际效果；可能有设计方法的顺序效应。
  • 未来方向:
    • 探索如何扩展多学科设计资源以支持其他高风险领域的AI创新。
    • 创建新的评估矩阵，补充负责AI的维度，例如风险、模型公平性和隐私问题。
    • 进一步从概念生成过渡到原型制造和并行测试，并评估对设计过程的系统性改进。