从代码生成到概念学习：学生在网页编程课程中使用大型语言模型的研究

文献标题

From Code Generation to Conceptual Learning: Student Use of LLMs in a Web Programming Course

出版信息

• 主题领域: 大型语言模型（LLMs）在计算机科学教育中的应用。
• 关键词: LLMs, Web编程, 计算机科学教育, 提示工程, 调试, 概念学习, 元认知, AI辅助学习, 学生表现, 编程作业。

背景与问题

• 问题/挑战: 现有关于LLM在教育中应用的研究通常依赖于自我报告或范围有限的控制实验，未能捕捉高级编程课程中真实的、有机使用情况。
• 重要性: 理解学生在现实环境中如何使用LLM对于设计有效的教育策略以及帮助学生为行业实践做好准备至关重要。
• 动机与相关工作: 先前研究探讨了LLM在入门课程或基于小组项目中的应用，但缺乏对高级课程中个体使用模式的深入洞察。本研究基于如Arora等人的工作，聚焦于个体交互及其与学术表现的关联。

解决方案

• 提出的方法: 分析来自147名学生的448份LLM聊天记录，这些学生参加了两个学期的高级Web编程课程，使用开放编码方法对交互进行分类，并与学术成果进行关联分析。
• 创新点:
  1. 识别了14种不同的提示–响应对，分为代码生成、调试和概念解释三类。
  2. 将特定LLM交互模式与学术表现进行关联分析。
  3. 观察到学生交互模式从代码生成逐渐转向解释导向的变化趋势。
  4. 将学生的提示与既定的提示工程技术进行映射。
• 过程与关键技术:
  1. 收集学生的LLM聊天记录、编程作业、调查问卷和成绩数据。
  2. 对聊天记录进行开放编码，将交互分类为实现、调试和解释三类。
  3. 通过统计分析将交互模式与学术表现及代码借用率进行关联。
  4. 比较两个学期的交互趋势。

结果

• 具体发现:
  • 高投入、详细的代码生成提示与最终成绩呈正相关（r = 0.25, p < 0.01）。
  • 低投入行为（如直接粘贴错误信息）与表现呈负相关（r = −0.34, p < 0.01）。
  • 解释导向的交互随时间增加，到2024年所有学生均使用“explainhow”提示。
• 相较基线的优势:
  • 详细的提示策略相比低投入或通用提示带来了更好的学术成果。
  • 解释导向的提示相比简单的代码生成提供了更丰富的学习机会。
• 实验/评估:
  • 分析了来自两个学期147名学生的448份聊天记录。
  • 评估了提示类型与成绩以及代码借用率之间的相关性。
  • 作业包括基于MERN技术栈的真实编程任务。
• 局限性与未来工作:
  • 自愿参与可能导致结果偏向于表现较好的学生。
  • 聊天记录无法捕捉学生的潜在意图或元认知过程。
  • 未来工作可包括纵向研究、自适应生成式AI系统，以及与专业开发者的比较。

总结

本研究分析了学生在高级Web编程课程中使用LLM的情况，识别了14种不同的交互类型及其与学术表现的关联。高投入、详细的提示与较高的成绩相关，而低投入行为如粘贴错误信息则与较差的表现相关。随着时间推移，学生从主要使用LLM进行代码生成转向将其作为概念导师。这些发现强调了有效提示策略的重要性，并表明LLM在经过深思熟虑的使用情况下可以支持学习和技能发展。研究结果对设计AI整合课程的教育工作者以及人机交互领域具有重要意义。