CoEmpaTeam：利用基于大语言模型的虚拟化身和动态角色扮演增强认知共情

文献标题

CoEmpaTeam: Enhancing Cognitive Empathy using LLM-based Avatars and Dynamic Role Play in Virtual Reality

出版信息

• 主题领域: 使用虚拟现实和基于LLM的虚拟角色进行认知共情训练。
• 关键词: 认知共情, 虚拟现实, 大型语言模型, 角色切换, 视角转换, 虚拟角色设计, 沉浸式训练, 人机交互, 共情迁移, 个性建模。

背景与问题

• 问题/挑战: 认知共情，即理解他人视角的能力，正在下降，而传统的训练方法（如课堂课程、在线教程）缺乏可扩展性、相关性和具身体验。现有的虚拟现实系统未能充分整合角色切换或独特的虚拟角色个性来增强共情训练。
• 重要性: 认知共情对于有效沟通、减少偏见和促进社会和谐至关重要。开发可扩展且有效的训练方法可以满足这一社会需求。
• 动机与相关研究: 先前研究强调了虚拟现实在沉浸式视角转换中的潜力，以及基于LLM的虚拟角色在动态交互中的应用。然而，这些元素尚未被结合到一个统一的共情训练框架中。本文基于这些见解来填补这一空白。

解决方案

• 提出的方法: CoEmpaTeam，一个基于虚拟现实的系统，利用具有独特个性和角色切换机制的LLM驱动虚拟角色，在共居场景中训练认知共情。
• 创新点:
  1. 将角色切换与LLM驱动的虚拟角色相结合，促进多视角的社会互动。
  2. 使用大五人格框架，通过自我评估和人工评估验证虚拟角色的个性。
  3. 通过为期三周的研究提供认知共情改善和现实迁移的实证证据。
  4. 系统开源以实现可重复性并促进进一步研究。
• 流程与关键技术:
  • 参与者与两个虚拟角色一起完成共居任务，在三次会话中交替角色。
  • 虚拟角色体现基于大五人格框架的独特个性，通过NEO-FFI-30评估和参与者评价进行验证。
  • 角色切换通过要求参与者从多个视角进行采纳和协商来鼓励视角转换。
  • 系统集成LLM用于对话生成、情感和手势对齐，增强虚拟角色的真实感和互动性。

结果

• 具体发现:
  • 认知共情显著提高：视角采纳（PT）得分从M = 3.36提高到M = 3.70（p = .007, d = 0.64），幻想（FS）得分从M = 2.76提高到M = 3.22（p < .001, d = 0.86）。
  • 参与者在日记研究中报告在现实世界互动中应用了共情策略。
• 相较基线的优势:
  • 角色切换和虚拟角色个性一致性相比传统角色扮演或静态虚拟现实场景，能够实现更深层次的视角转换。
  • 系统提供了可扩展、一致且自适应的训练，无需多个演员或参与者。
• 实验/评估:
  • 研究1：通过90名参与者的虚拟角色验证，确认个性一致性，自我评估的余弦相似度为Alice = 0.997, Benji = 0.862, Caden = 0.950；人工评估的相关性为Alice r = .93, Benji r = .87, Caden r = .89。
  • 研究2：32名参与者（22人完成所有会话）参与了三次会话训练和为期一周的日记研究，结果显示认知共情改善和现实迁移。
  • 测量工具包括人际反应指数（IRI）、存在感问卷（PQ）和NASA-TLX任务负荷量表。
• 局限性与未来工作:
  • 样本同质性（年轻大学生）限制了普适性。
  • 未分析文化对共情训练的影响。
  • 缺乏非角色切换基线进行比较。
  • 虚拟角色偶尔的响应延迟影响了对话流畅性。
  • 未来工作应探索长期效果、文化适应性和扩展角色场景。

总结

CoEmpaTeam展示了基于虚拟现实的角色切换与LLM驱动虚拟角色在增强认知共情方面的潜力。系统验证了虚拟角色的独特个性，并显示出视角采纳和幻想得分的显著提升，同时技能能够迁移到现实场景中。通过整合结构化任务、相关场景和可扩展设计，该方法为共情训练和更广泛的软技能开发提供了一个有前景的框架。未来研究应关注文化多样性、长期效果和技术改进，以扩大适用性。