用于学习者反思的混合 LLM 嵌入式对话代理：设计响应式且理论驱动的交互

文献标题

Hybrid LLM-Embedded Dialogue Agents for Learner Reflection: Designing Responsive and Theory-Driven Interactions

出版信息

• 主题领域: 用于教育环境中学习者反思的混合对话系统。
• 关键词: 混合对话系统、大型语言模型、自我调节学习、学习者反思、文化响应计算、开放式学习、基于规则的系统、教育技术、会话代理、人机交互。

背景与问题

• 问题/挑战: 传统的基于规则的对话系统在应对学习者开放式输入时缺乏灵活性，而大型语言模型（LLMs）虽然灵活，却未与既定的学习理论相结合，可能导致与教学目标的不一致。
• 重要性: 在开放式教育环境中支持学习者反思至关重要，因为这有助于促进自我调节学习（SRL）并加深对学习任务的参与。
• 动机与相关工作: 先前的研究已证明基于规则的系统在学习支架中的有效性，以及LLMs在动态交互中的潜力。然而，关于如何结合这些方法以平衡理论基础与响应性方面的研究仍然有限。本文通过将LLMs嵌入基于规则的框架来解决这一研究空白。

解决方案

• 提出的方法: 一个混合对话系统，将基于规则的有限状态机与LLMs相结合，以在开放式学习环境中为学习者反思提供支架。
• 创新点:
  1. 设计了一种结合基于规则的支架与LLM响应性的混合架构。
  2. 提出了一种两阶段LLM集成方法，用于相关性检查和上下文敏感的后续生成。
  3. 在一个文化响应型机器人夏令营中应用该系统，目标群体为中学生。
  4. 提供了关于系统有效性及改进空间的实证见解。
• 流程与关键技术:
  • 基于规则的组件：实现与SRL模型“反应与反思”阶段相一致的结构化提示，引导学习者进行目标设定、计划和反思。
  • LLM嵌入组件：分为两个阶段运行：
    1. 相关性检查：使用少量示例判断学习者的响应是否足够反思。
    2. 上下文生成：当响应不足时生成针对性的后续提示以促进更深入的反思。
  • 部署：系统在为期两周的机器人夏令营中进行了测试，学习者通过聊天界面与系统交互。

结果

• 具体发现:
  • 平均每次会话：39.66次对话轮次，持续时间6分钟，学习者每轮开放式输入平均3.89个单词。
  • LLM平均每次会话触发2.66次，后续提示使响应长度增加约1.75倍。
  • 在24次LLM提示中，有9次引发了详细的反思。
• 相较基线的优势:
  • 将基于规则的系统的结构化支架与LLMs的生成灵活性相结合，实现了上下文敏感且理论一致的交互。
  • 与静态基于规则的系统相比，鼓励了学习者对目标和活动进行更丰富的反思。
• 实验/评估:
  • 在一个文化响应型机器人夏令营中对9名中学生（年龄9–13岁）进行测试。
  • 对对话交互和访谈进行了混合方法分析，以评估反思、参与度和系统性能。
  • 评估指标：单词数、轮次数、LLM触发频率以及学习者响应的定性编码。
• 局限性与未来工作:
  • 上下文不一致：LLM在美学设计情境（如发型和配饰）中表现不佳。
  • 情感不一致：未能识别学习者的脱离参与线索，导致部分学习者产生挫败感。
  • 由于相关性检查过于宽松，错失了促进更深入反思的机会。
  • 样本量较小（N = 9），限制了研究结果的普适性。
  • 未来工作：整合领域特定知识（如基于检索的增强生成），提高情感调节能力，适应学习者偏好，并探索共创范式。

总结

本文提出了一种混合对话系统，将基于规则的支架与LLM响应性相结合，以支持开放式教育环境中的学习者反思。该系统在一个文化响应型机器人夏令营中进行了测试，能够有效引导学习者对目标和活动进行反思，但在上下文和情感一致性方面存在挑战。研究结果突显了混合系统在平衡教学理论基础与灵活性方面的潜力，并为未来教育及其他领域的应用提供了设计启示。