CaseMaster：面向口头案例展示训练的设计与LLM辅助评估探针

文献标题

CaseMaster: Designing and Evaluating a Probe for Oral Case Presentation Training with LLM Assistance

出版信息

• 主题领域: 利用大型语言模型（LLMs）提升医学教育中口头病例陈述（OCP）训练的效果。
• 关键词: 口头病例陈述，医学教育，大型语言模型，训练系统，交互式学习，SOAP格式，反馈整合，自适应学习，教育技术，以用户为中心的设计。

背景与问题

• 问题/挑战: 传统的口头病例陈述（OCP）训练方法面临诸多挑战，例如学生参与度不均衡、缺乏结构化指导、难以及时获得反馈以及资源需求高昂。现有的自动化反馈系统多集中于公共演讲领域，未能满足OCP的特定需求。
• 重要性: OCP是医学交流的关键技能，有助于医疗专业人员之间清晰、高效的信息传递。改进OCP训练可以提升医学学生的诊断推理能力、陈述清晰度以及自信心。
• 动机与相关工作: 先前的研究探索了如SOAP等框架和演示训练工具，但缺乏针对OCP的综合模型。LLMs在自适应、个性化学习方面具有潜力，但其在医学教育中的应用尚未被充分探索。本研究基于这些研究空白，设计并评估了一个基于LLM辅助的训练系统。

解决方案

• 提出的方法: CaseMaster，一个利用LLM的交互式系统探针，通过结构化的准备和反思阶段帮助医学学生进行OCP训练。
• 创新点:
  1. 开发了针对OCP训练的双阶段系统（准备阶段和反思阶段）。
  2. 集成LLM生成的内容，用于提供结构化指导、反馈和解决方案比较。
  3. 提出了LLM在医学教育工具中的设计指南。
• 流程与关键技术:
  • 准备阶段: 用户探索患者病例，使用SOAP格式起草陈述，并通过LLM辅助指导优化内容。
  • 反思阶段: 用户将自己的解决方案与参考答案进行比较，获得LLM生成的反馈，并通过详细的评分表评估表现。
  • 实现方式包括模块化提示模板、LLM输出的温度调节，以及由医学教育者验证的LLM生成内容。

结果

• 具体发现:
  • CaseMaster提升了鉴别诊断的清晰度（M = 5.00 对比基线 M = 4.00，padj = 0.042）。
  • LLM生成评分的评分者间一致性较高（ICC = 0.88）。
  • 参与者对CaseMaster的系统满意度评分较高（M = 6.00，IQR = 0.25）。
• 相较基线的优势:
  • 提升了演示质量，尤其是在推理和组织方面。
  • 通过结构化指导和反馈降低了认知负荷。
  • 与传统工具相比，信任度和可用性评分更高。
• 实验/评估:
  • 对比研究：12名医学生参与，比较CaseMaster与基线系统。
  • 专家评估：5名医学教育者对系统的可靠性和教育影响进行评估。
  • 评估指标包括演示质量、任务工作负荷（NASA-TLX）和可用性（SUS）。
• 局限性与未来工作:
  • 仅限于骨科病例；未来将扩展至其他医学专业。
  • 样本量较小（12名学生，5名教育者）；需要更大规模的研究。
  • 缺乏干预前后的技能评估。
  • 有机会整合多模态格式（如流程图、视频）和可定制的提示。

总结

CaseMaster是一个基于LLM辅助的系统，通过结构化的准备和反思阶段提升医学学生的OCP训练效果。该系统在演示质量（尤其是鉴别诊断方面）和降低认知负荷上表现出显著改进，相较传统方法更具优势。专家评估强调了其在优化反馈和支持基于证据的批判性思维方面的潜力。尽管本研究聚焦于骨科病例，未来工作将扩展其适用范围至其他医学学科，并整合多模态和可定制功能，以实现更广泛的教育影响。