使用大型语言模型增强的人工智能临床决策支持系统的人员-算法交互

文献标题

Human-Algorithmic Interaction Using a Large Language Model-Augmented Artificial Intelligence Clinical Decision Support System

文献信息

• 主题领域: 医疗工作流程中的人工智能算法-以临床决策支持系统为主
• 关键词: 健康临床、机器学习、医学：老年护理/医院、定性方法、定量方法、人工智能、临床决策支持系统、工作流、电子健康记录

研究背景与问题

• 发现问题或挑战:

  • 人工智能驱动的临床决策支持系统（AI-CDSS）在优化临床结果时效果有限。
  • 关于医疗提供者如何与AI系统交互的研究不足。
  • 尽管大型语言模型（LLMs）有潜力改善AI-CDSS，但很少在模拟或真实临床场景中得到验证。

• 重要性:

  • 临床决策高效与准确性对于患者管理及医疗资源利用至关重要。
  • 医疗行业对AI技术的信任度较低，阻碍了新工具的广泛使用。

• 研究动机与相关工作:

  • 过去针对单用户交互的研究较为普遍，较少探讨医疗团队如何使用AI-CDSS。
  • 大型语言模型（LLMs）的文本生成功能可以协助医疗团队更好地进行复杂决策，例如复杂患者的个性化建议。
  • 上消化道出血（UGIB）是急性、高紧迫性的疾病，其管理需要医生团队之间的合作，且对风险评估工具有明显需求。

解决方案

• 方法或解决方案:

  • 开发了一种名为GutGPT的系统：集成了基于风险预测的机器学习模型及基于LLM的自然语言问答功能。
  • 使用电子健康记录数据对UGIB风险进行了二元预测（高风险或低风险）。
  • 在模拟临床场景中测试GutGPT系统的使用，研究其对医生团队决策、信任及交互模式的影响。

• 创新之处:

  • 首次将LLM集成到AI-CDSS中，并研究其在模拟环境中的可用性、信任度及交互模式。
  • 提供实时患者数据的可视化工具（交互式仪表盘）和通过LLM生成的自然语言响应，增强沟通能力。

• 实施步骤与关键技术:

  1. GutGPT框架构建：集成机器学习模型和LLM。
  2. 数据处理：基于患者的电子健康记录，对输入变量进行了降维和预测模型训练。
  3. 系统开发：仪表板提供风险预测结果的可解释性图表（例如PDP、ICE和ALE）。
  4. 模拟试验设计：随机对医生团队分组，部署GutGPT的不同功能。

研究成果

• 具体成果:

  • LLM集成使AI-CDSS的使用更加便捷，增强了医生对工具的信任。
  • 数据显示参与者平均生成了3次约13字的自然语言询问，反映了系统的用户交互模式。
  • 临床团队中，团队成员对系统的使用和接受度因专业经验水平和角色分工而异。

• 与现有解决方案相比的优势:

  • 普通临床支持系统多为规则驱动型，GutGPT通过集成LLM实现了更直观、更全面的指南和建议。
  • LLM生成的答案能够以自然语言结合患者数据提供详细、易理解的解释。

• 实验或评估结果:

  • SUS（系统可用性量表）调查显示参与者普遍认为系统易于使用，但初次使用的信心受限。
  • 临床任务和团队动态显著影响使用模式，例如在复杂决策场景中，问询次数明显增加。
  • 高临床经验的医生更倾向于使用系统验证自己的直觉，而医学学生将系统视为主要信息来源。

• 局限性与未来方向:

  • 模拟环境不完全反映真实临床场景的复杂性，例如环境干扰和时间压力可能会影响系统使用。
  • 参与者均为医疗培训阶段，缺乏长期从业医生的反馈。
  • 对GutGPT界面和功能的优化仍需进一步研究，例如减少响应时间、提升仪表板的可解释性。
  • 未来研究将探索VR/AR技术以创建更逼真的模拟环境，以及提高性能的动态特性。

总结与设计原则

• 总结:

  • LLM增强的AI-CDSS在临床场景中能显著提高使用的易用性并促进信任，但需要针对用户背景和工作流程进行个性化部署。
  • 通过透明、可引用的响应数据增加信任，并用熟悉的界面设计提高系统的接受度。

• 设计原则:

  1. 全面的可用性设计: 改进仪表板和聊天功能的整合，同时关注EHR无缝对接。
  2. 定制化的部署策略: 针对不同医疗专科和用户需求设计差异化模式。
  3. 团队动态理解与适应性设计: 优化系统以便适应医疗团队的角色分工和领导关系，同时通过提供培训促进使用熟悉度。

这项工作为医疗AI应用领域提供了实际设计指南，同时奠定了未来研究的基础，推动医疗团队更高效地利用AI技术改善患者护理。