CodeAid：评估基于LLM的编程助手在课堂部署中平衡学生和教育者需求的情况

文献标题

CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs

文献信息

• 主题领域: 教育技术，计算机科学教育中的人工智能应用
• 关键词: 编程教育, 智能辅导系统, 大语言模型, 教育技术, AI助手, AI辅导, 生成式AI, 课堂部署, 设计指南

研究背景与问题

• 作者发现的问题或挑战: 传统计算机编程课程中即时、个性化的学习反馈较难实现，尤其是随着学习编程的学生人数激增，现有资源（如教学助理的办公室时间）利用率有限且存在不公平现象。此外，工具如 ChatGPT 虽可以提供快速代码解决方案，但可能导致学术诚信问题和学生的过度依赖，阻碍深度学习。

• 为什么问题重要: 编程学习需要反复实践和深度理解，通过提供支持学生自主学习的工具，可以促进学生的学习效果，同时提高教育资源的公平性和可扩展性，缓解课堂规模扩大的压力。

• 研究动机与相关工作: 大语言模型（LLM）在计算机科学教育中显示出帮助生成代码、修复错误和解释概念的潜力，但教育环境中需要开发带有“防护栏”的工具，这些工具应防止直接提供代码解决方案，专注于创造性学习的支持。

解决方案

• 作者提出的方法或解决方案: 作者设计并部署了一个名为 CodeAid 的编程助手系统，该系统基于 LLM（大语言模型），旨在提供技术上正确但不直接展示代码解决方案的反馈。CodeAid 功能包括回答概念性问题、生成带注解的伪代码、修正错误代码及解释学生代码行。

• 解决方案的创新之处: CodeAid 以教育为目标，通过设置“防护栏”限制生成直接代码解决方案，促进学生的认知参与和自我调节。创新特点包括：

  • 通过自然语言互动帮助学生提问
  • 提供伪代码以及行级详细解释
  • 视觉化标注学生代码中的错误，解释应如何修正

• 实施步骤与关键技术:

  • 用户界面设计: 提供五个主要功能（通用问答、代码解释、代码修正等），结合引导视频帮助用户了解功能。
  • 后端架构: 使用 OpenAI API 生成答复，并应用 few-shot 学习技术限制 LLM 的生成能力，确保输出结构化、易于理解且技术上可靠。
  • 数据收集与分析: 部署后，通过日志记录学生问题与评估反馈，并采用“逐步流式生成”方法优化响应速度。

研究成果

• 具体成果:

  • CodeAid 在一个包含 700 名学生的编程课程中部署了整整一学期，累计处理了约 8000 次学生交互。
  • 通过分析学生问题类型、响应正确率和学生反馈，收集了基于学生实际使用的见解。
  • 明确了四项设计原则：利用 AI 的独特优势、简化查询的同时促进认知参与、避免直接回答以鼓励动机学习，以及保障透明度和控制。

• 与现有解决方案的比较与优势:

  • CodeAid 相较于 ChatGPT 更关注教育目标，避免直接显示代码方案。
  • 提供的反馈结构更适合学生的学习需求，促进教育工具的深度整合，同时减少对通用 AI 工具的依赖。

• 实验或评估结果:

  • 响应整体正确率为 79%，其中 helpfulness（有帮助的回应比例）为 86%。更新后系统正确率进一步提升至 87%，helpfulness 为 91%。
  • 学生报告 CodeAid 的查询界面和功能设计促进了学习体验，特别是伪代码生成和错误代码标注功能。
  • 尽管存在一些错误或不完整的回答，CodeAid 对课程材料相关性较高，学生学习的技术性提升显著。

• 局限性与未来方向:

  • CodeAid 的研究背景集中在单一的课程与编程语言（C语言），其通用性需要进一步验证。
  • AI输出模型的性能影响系统准确性，未来可能需要使用更先进的模型。
  • 学生长期使用此类 AI 教育工具的学习效果、技能提升及自我调节能力值得进一步研究。
  • 后续工作可以关注更广泛的课程集成设计，并探索多样化的学生群体如何利用此类工具进行学习。

通过本研究，作者为开发更具教育意义的 AI 辅助编程学习工具提供了宝贵的见解。未来的 AI 设计应在学生学习需求和教育原则之间找到最佳平衡点，以支持更广泛的教育目标和背景。