ClassAid：面向课堂编程活动的实时教师-AI-学生编排系统

文献标题

ClassAid: A Real-time Instructor-AI-Student Orchestration System for Classroom Programming Activities

出版信息

• 主题领域: 面向编程教育的实时AI驱动编排系统。
• 关键词: 生成式AI、课堂编排、编程教育、实时反馈、助教代理（TA Agent）、教师仪表盘、认知评估、自适应学习、AI与学生互动、个性化反馈。

背景与问题

• 问题与挑战: 现有的编程教育AI工具缺乏实时监控、自适应反馈以及教师监督机制。这些工具通常是被动的、反应式的，且与教学目标的契合度不足，导致学生过度依赖AI、批判性思维能力下降以及上下文反馈有限等问题。
• 重要性: 弥补这些缺陷对于提升编程教育质量至关重要，尤其是在大型课堂中，手动提供及时、个性化反馈具有较大挑战。
• 动机与相关工作: 之前的系统如CodeAid和SPHERE提供课后反馈或异步支持，但未能实现实时、动态且教师监督的AI交互。本研究基于形成性评估和动态评估理论设计了一种系统，将AI驱动的反馈与教师控制相结合。

解决方案

• 提出的方法: ClassAid，一种实时编排系统，结合智能助教代理（TA Agent）为学生提供支持，并通过教师仪表盘进行监控和控制。
• 创新点:
  1. 基于形成性和动态评估理论的六阶段助教代理框架，用于个性化、自适应反馈。
  2. 实时教师仪表盘可动态调整AI反馈模式并监控学生与AI的交互。
  3. 集成主动且上下文感知的反馈，减少对AI的过度依赖，促进独立学习。
• 流程与关键技术:
  1. 助教代理观察学生活动，识别学习障碍，审查历史数据，并选择适当的反馈模式（启发式、技术性、自动或静默）。
  2. 根据认知水平、错误类型和学习历史生成反馈，并由教师控制进行调整。
  3. 教师仪表盘提供实时警报、班级级别的聚合分析以及详细的学生表现视图，以便进行针对性干预。

结果

• 具体发现:
  • 助教代理在认知水平分类中达到了95.99%的准确率，在反馈生成正确性上达到了94.71%。
  • 学生完成任务的平均准确评分为3.87和3.97（满分5分），系统在两项任务中生成了1,107条反馈信息。
  • 教师在课堂期间进行了8次全班范围和22次个别反馈模式调整。
• 相较基线的优势:
  • 与ChatGPT等通用AI工具相比，ClassAid提供了更符合教学目标的反馈，并保持了教师监督，提升了学习效果并减少了对AI的过度依赖。
• 实验与评估:
  • 在一门研究生数据可视化课程中进行，参与者包括54名学生、1名教师和2名助教。
  • 混合方法评估包括助教代理性能的定量分析、学生反馈调查以及对8名教育工作者的访谈。
• 局限性与未来工作:
  • 尚未测试系统在更大规模课堂中的可扩展性以及对更复杂编程任务的适用性。
  • 未来工作包括细粒度反馈策略、教师与学生之间的共享控制机制以及多源学习数据的整合。

总结

ClassAid提出了一种面向编程课堂的实时编排系统，结合智能助教代理和教师仪表盘，提供自适应、个性化反馈，同时保持教师控制。该系统在课堂部署中表现出色，在认知水平评估和反馈生成方面具有较高的准确性。学生和教师反馈积极，强调其教学目标的契合性和可用性。未来研究将探索系统的可扩展性、细粒度反馈以及在多样化教育场景中的广泛适用性。