揭示大语言模型在模拟学生行为动态及支持同伴反馈以提升任务表现方面的能力

文献标题

Unveiling the Capabilities of Large Language Models in Simulating Student Behavioral Dynamics and Supporting Peer Feedback to Augment Task Performance

出版信息

• 主题领域: 大型语言模型（LLMs）在学生行为模拟和同伴反馈中的应用，以提升教育效果。
• 关键词: 大型语言模型, 学生模拟, 同伴反馈, 元认知, 学习科学, 认知表现, 虚拟同伴, 教育人工智能, 模拟实验, 行为动态。

背景与问题

• 问题/挑战: 现有基于LLM的学生模拟器主要关注粗粒度指标，如问答准确性，而忽略了更细粒度的行为动态，例如先验知识、情境经验和感官行为。对于LLM在模拟中的成功与失败的解释也较为有限。
• 重要性: 理解和提升LLM模拟学生行为的能力可以促进教育研究、内容设计、教学策略和可扩展的学生支持系统的发展。
• 动机与相关工作: 先前研究已探讨了LLM在教育环境中的应用，包括辅导、评估和协作学习。然而，大多数模拟器的粒度较粗，未能捕捉到细致的学习轨迹。本文通过细粒度模拟实验并提出新方法来填补这些空白。

解决方案

• 提出的方法: 元认知优化（Meta-Cognitive Refinement, MCR），一种双层优化过程，在学生和模型层面整合元认知推理以提高模拟的真实性。
• 创新点:
  1. 进行了大规模、细粒度的模拟实验，系统研究LLM在建模学生行为方面的能力和局限性。
  2. 引入MCR，将模拟中的见解与基于元认知调节和学习科学理论的机制相结合。
  3. 展示了基于LLM的虚拟同伴在通过同伴压力反馈提升认知任务表现方面的有效性。
• 过程和关键技术:
  • 使用多样化数据集进行六项模拟实验，分析LLM建模学生人口统计信息、学习历史、课程材料理解、情境知识、先验知识、参与度和行为相关性的能力。
  • 开发MCR，通过双层推理优化模拟：学生层推理解释任务需求和行为历史，模型层推理确保内部一致性和对齐。
  • 使用平均绝对误差（MAE）和相关系数等指标评估MCR相对于基线模型（Standard, CoT, PoT, Self-Refine）的表现。
  • 通过虚拟同伴在数学任务中提供反馈的用户研究，评估其对反应时间和准确性的影响。

结果

• 具体发现:
  • 模拟与真实学生行为在人口统计因素（如记笔记习惯，r = 0.94）和学习历史（r = 0.69）方面高度一致。
  • 融入情境知识和参与度显著提高了模拟准确性（例如，Tcontext − pre − engage, r = 0.545）。
  • MCR实现了最低的模拟误差（MAE = 3.225）以及与真实反应时间序列的最强相关性（r = 0.375, p =.007）。
  • 与对照组和随机同伴组相比，虚拟同伴显著加快了反应时间（β = 0.182, p <.001）。
• 相较基线的优势:
  • MCR在模拟真实性方面优于Standard, CoT, PoT和Self-Refine模型，降低了MAE并提高了与真实学生数据的相关性。
  • 使用MCR反馈的虚拟同伴在表现提升方面优于真实同伴和随机同伴。
• 实验/评估:
  • 六项模拟实验测试了LLM在使用Nevriye等人数据集（N = 145）、开放大学学习分析数据集（N = 4524）和EduAgent（N = 311）等多样化学习场景中的建模能力。
  • 包括188名参与者的用户研究比较了对照组、真实同伴、虚拟同伴和随机同伴组在认知任务表现上的差异。
• 局限性与未来工作:
  • LLM对提示设计和令牌大小限制的敏感性可能限制其更广泛的应用。
  • LLM内部知识库中的潜在偏差可能影响模拟准确性。
  • 未来工作应探索更丰富的学生特定数据、更复杂的领域以及更多样化的虚拟同伴交互。

总结

本文通过细粒度实验系统研究了LLM在模拟学生行为方面的能力和局限性，并引入元认知优化（MCR）以提高模拟的真实性。MCR结合学习科学和元认知理论的见解，在学生和模型层面优化模拟。结果表明，基于MCR的虚拟同伴能够在不牺牲准确性的情况下有效加速认知任务表现，凸显了LLM作为教育研究和自适应学习系统的可扩展、可解释工具的潜力。未来工作应解决偏差问题，扩展应用领域，并探索更丰富的个性化方案。