LLM模拟练习和反馈能否提升人类咨询师的技能？一项对90多名新手咨询师的随机研究

文献标题

Can LLM-Simulated Practice and Feedback Upskill Human Counselors? A Randomized Study with 90+ Novice Counselors

出版信息

• 主题领域: 评估基于LLM的系统在训练初学者咨询师掌握以客户为中心技能方面的影响。
• 关键词: LLM，咨询师培训，同理心，以客户为中心的治疗，AI反馈，技能发展，行为表现，自我效能，治疗意图，随机研究。

背景与问题

• 问题/挑战: 培训咨询师需要大量资源且难以扩展。现有方法主要依赖人类培训师和角色扮演，这限制了可及性和可扩展性。虽然LLM具有模拟患者和提供反馈的潜力，但其在提升初学者咨询师技能方面的有效性尚未得到验证。
• 重要性: 解决全球心理健康服务提供者短缺问题需要可扩展的培训解决方案。有效培训同理心和积极倾听等基础咨询技能对于改善治疗效果至关重要。
• 动机与相关研究: 之前的研究探索了LLM用于模拟患者互动和生成反馈，但评估主要集中在可用性和输出质量上，而不是可测量的技能提升。本研究通过评估基于LLM的系统是否能够促进初学者技能发展来填补这一空白。

解决方案

• 提出的方法: CARE，一个结合模拟患者互动与结构化咨询技能反馈的基于LLM的培训系统。
• 创新点:
  1. 将逼真的LLM模拟患者与结构化、专家对齐的反馈相结合。
  2. 随机评估初学者咨询师技能发展（N=94）。
  3. 全面评估行为表现、自我效能和治疗意图。
  4. 提供关于反馈设计及其对技能采用影响的洞察。
• 流程与关键技术:
  • 参与者通过LLM模拟患者练习咨询技能。
  • 两组：仅练习组（P）和练习+反馈组（P+F）。
  • 反馈包括优势、待改进领域和替代回应。
  • 技能通过微调的LLM分类器、自我效能调查和定性自我反思进行评估。
  • 随机前后设计，包含三个AI患者场景。

结果

• 具体发现:
  • P+F组在反思能力上有所提升（+3.6%，d=0.32，p=0.034），提问能力也有所提高（+6.59%，d=0.36，p=0.018）。
  • P组的同理心下降（-9.6%，d=-0.52，p<0.001），但P+F组保持稳定，两组间差异显著（d=0.72，p<0.001）。
  • 两组均减少了不适当建议，但反馈不是显著因素（d=0.02，p=0.910）。
• 相较基线的优势: 反馈防止了同理心下降并促进了以客户为中心的技能，而单纯练习在同理心等关键领域的变化较小或呈负面趋势。
• 实验/评估:
  • 参与者（N=94）为正式培训有限的初学者咨询师。
  • 测量指标：行为表现（通过LLM分类器）、自我效能（CASES-R调查）和定性反思。
  • 研究设计：随机前后干预设计，分为两组（P和P+F）。
• 局限性与未来工作:
  • 仅限于基于文本的互动；未评估非语言技能。
  • 短期研究；未测试长期技能保持和现实世界的可转移性。
  • 反馈有时被认为过于批评或重复。
  • 未来工作应探索自适应患者模拟、多模态技能以及在多样化培训环境中的整合。

总结

本研究评估了CARE，一个用于培训初学者咨询师的基于LLM的系统，结果表明模拟练习结合结构化反馈能够改善以客户为中心的技能，如同理心、反思和提问能力。单纯练习不足以达到效果，甚至导致同理心下降。反馈在促进同理倾听和抑制以解决方案为导向的方式方面尤为有效。参与者认为AI反馈具有建设性，模拟患者也很逼真，但也指出反馈一致性和生态有效性方面的挑战。这些发现突显了基于LLM的系统在扩展咨询师培训方面的潜力，但仍需进一步研究以解决局限性并探索长期影响。