探索虚拟现实历史教育中基于LLM的角色和动作切换教学代理

研究背景与问题

• 发现的问题或挑战： 当前的VR教育中，支持多角色互动的教学代理(PAs)面临以下问题：

  • 多角色互动的复杂操作方式可能导致使用疲劳和学习中断。
  • 缺乏对用户输入的动态适应性，限制了个性化和互动性。
  • 许多现有的教学代理仅能基于预设剧本，缺乏实时响应能力。
  • 多角色功能的虚拟教学代理（例如文学、历史学等领域应用）在叙事丰富性和互动多样性方面表现不足。

• 重要性：

  • 历史教育是构建文化理解和跨学科探索的关键领域，通过VR还原历史场景可提升学生的动手参与感和学习兴趣。
  • 多角色教学代理可以增进从不同视角学习历史事件的效果，丰富叙事以促进深层记忆和理解。

• 研究动机与相关工作：

  • 作者受大语言模型（LLM）如GPT-4能力的启发，希望通过整合LLM使教学代理能够动态、多角色、多动作地交互，以克服目前的问题并提升历史教育效果。
  • 过去研究表明，VR结合多角色教学代理在教育领域潜力巨大，但实际应用的个性化和交互多样性仍待提升。

解决方案

• 提出的方法或解决方案： 开发了一个VR原型，针对历史教育设计了两种自适应模块：

  • 自适应角色切换模块(Role-Switching Module)：根据用户输入，动态切换教学代理的身份（如历史人物、文学家或考古学家）以及他们的语气、声音和外貌。
  • 自适应动作切换模块(Action-Switching Module)：根据模型输出动态调整代理的动作，使其展现角色特性（如指示、写作或表演）。

• 该解决方案的创新之处：

  1. 将LLM用于动态多角色切换，实现不同身份在历史记忆和视角中的自适应表现。
  2. 首次结合角色和动作切换模块，使教学代理的行为更加生动、自然。
  3. 模块能在用户的实时输入基础上提供语境敏感的互动反馈，强化沉浸与学习效果。

• 实施步骤与关键技术：

  1. 系统设计： 基础结构包括三个模块（对话、角色切换和动作切换）。角色切换模块通过LLM分析用户输入，将最适合的角色与使用情景匹配；动作切换模块通过上下文分析选择适当动作。
  2. 虚拟环境构建： 使用Unity引擎搭建周围环境，ReadyPlayerMe工具生成教学代理外貌，Blender工具进一步定制服装与绑定。
  3. 实验设置： 使用Oculus Quest 3头显进行测试，并通过用户研究评估带有或者不带有角色与动作切换模块的四个实验组。

研究成果

• 取得的具体成果：

  • 角色切换：
    • 增强用户对代理的可信度和专业度理解。
    • 鼓励用户从多视角学习历史，但频繁切换可能导致学习体验的不一致。
  • 动作切换：
    • 显著提升学习的社会存在感、交互的自然性以及代理的人性化感受。
  • 对学习动机与认知负载的影响：
    • 角色与动作切换对学习动机、认知负担（内在、外在与促进认知负载）没有显著影响。

• 优势：

  • 该方案通过适应性角色切换和动作切换模块，解决了多角色教学中交互不自然的难题，并激发了用户探索历史情境的兴趣。
  • 模块设计特别符合现实的用户需求，例如更真实的角色互动及高效的导航指导。

• 实验或评估结果：

  • 84名参与者参与了实验。定量与定性数据表明：
    • 角色切换对回忆 factual 知识的帮助显著，而对概念化知识的帮助不大。
    • 动作切换显著提升学习中的社会存在感与人性化，但需避免高频次角色与动作变化引入认知干扰。
  • 用户建议包括实现更平滑的角色过渡，以及优化代理的行动逻辑（例如更加精准的指示动作）。

• 局限性与未来方向：

  • 研究仅聚焦历史教育，未来可以扩展到情境更复杂的应用场景（如医疗模拟或职业培训）。
  • 当前研究中教学代理仅通过单个与用户交互，未来需探索多代理协作的教学经验设计，例如让多个历史人物之间展开互动。
  • 动作和角色切换的效果需要进一步优化，例如考虑用户偏好和调整交互频率。

此研究为未来基于LLM的虚拟现实教育工具设计提供了深刻的见解，展示了融入多重视角交互的潜力，但平衡用户认知负载与交互体验仍需进一步探索。