「我实际上不会把它作为练习工具」：理解医学生对 LLM 增强临床技能培训的视角与需求

文献标题

"I Wouldn't Really Use It as a Practice Tool": Understanding Medical Students’ Perspectives and Needs on LLM-Enhanced Clinical Skills Training

出版信息

• 主题领域: 医学教育与人机交互（HCI），基于大语言模型（LLMs）。
• 关键词: 医学教育，临床技能培训，大语言模型，2型糖尿病，用户中心设计，共同设计研讨会，模拟患者，自适应学习，多模态输出，循证医学。

背景与问题

• 问题/挑战: 当前基于LLM的医学教育工具主要关注系统性能和教育成果，但忽视了学习者的真实体验和具体需求。这一差距可能导致工具使用率低下和学习效果不佳。
• 重要性: 弥补这一差距对于改进临床技能培训至关重要，而临床技能培训是培养医学生在复杂和高风险环境中提供高质量医疗服务的关键。
• 动机与相关研究: 传统方法如标准化患者和实习受到资源限制，且难以反映真实世界的复杂性。此前的HCI研究探索了VR和模拟器等技术，但在适应性和现实感方面存在局限性。LLMs具有提供动态、个性化学习体验的潜力，但其在临床教育中的应用，特别是从用户体验的角度，仍未得到充分探索。

解决方案

• 提出的方法: 通过探针研究和共同设计研讨会的两阶段研究，识别医学生在使用基于LLM的2型糖尿病（T2D）临床技能培训工具时的挑战和期望。
• 创新点:
  1. 识别了对话内容、呈现方式和交互维度的11个关键挑战。
  2. 提炼出医学生对增强现实感、个性化、多模态输出和协作功能的期望。
  3. 提出了10项相互关联的LLM医学教育工具设计考量。
• 过程与关键技术:
  • 第一阶段：通过14名医学生使用5种聚焦于T2D的LLM探针（如模拟患者、诊断决策、患者教育）进行探针研究。
  • 第二阶段：通过共同设计研讨会，共同开发对LLM工具的期望和设计改进。
  • 数据收集包括“边想边说”口述、半结构化访谈以及参与者生成的草图和注释等材料。
  • 采用主题分析法识别反复出现的挑战和期望。

结果

• 具体发现:
  • 识别了11项挑战，包括模拟患者缺乏现实感、信息过载、缺乏多模态输出以及反馈机制的缺失。
  • 提出了10项设计考量，如丰富的患者模型、结构化内容呈现、多模态输出和协作机制。
• 相较基线的优势:
  • 从系统性能转向学习者体验，解决了可用性障碍，并使工具设计与医学生需求相匹配。
• 实验/评估:
  • 探针研究涉及14名参与者（22–25岁，8名女性，6名男性），使用5种与T2D相关的场景。
  • 共同设计研讨会生成了14份原型草图和56张带注释的便利贴，揭示了对增强现实感、个性化和交互性的期望。
• 局限性与未来工作:
  • 参与者多样性有限（中国高校，T2D聚焦）。
  • 研究时间较短，未能考察长期使用模式。
  • 与研究者设计的提示交互可能无法完全反映自然使用情境。
  • 未来研究应扩展至其他临床领域，部署功能性系统，并研究长期影响。

总结

本研究探讨了医学生在使用基于LLM的2型糖尿病临床技能培训工具时面临的挑战和期望。通过两阶段方法，研究者识别了对话内容、呈现方式和交互维度的可用性障碍，并提炼出以用户为中心的设计考量。研究结果强调了以学习者为中心的设计重要性，提出了如丰富患者模型、多模态输出和协作功能等改进建议。这些洞见有助于开发适应性强且影响深远的LLM医学教育工具，并具有超越T2D的潜在应用价值，可推广至多样化的临床场景。