研究AI代码生成器对初学者编程学习支持效果的影响

文献标题

Studying the Effect of AI Code Generators on Supporting Novice Learners in Introductory Programming

文献信息

• 主题领域: 人机交互、计算机科学教育、人工智能在编程学习中的应用
• 关键词: 大型语言模型, AI代码助手, AI辅助编程, OpenAI Codex, GPT-3, ChatGPT, Copilot, 初级编程, K-12计算机科学教育

研究背景与问题

• 问题或挑战:

  • 初学者通常难以学习文本编程语言，因为需要克服语法和逻辑的复杂性。
  • 对人工智能代码生成器（如OpenAI Codex）的使用可能会对学习效果产生两种截然不同的结果：有助于学习或导致依赖性。

• 重要性:

  • 探索人工智能代码生成器是否有助于降低编程入门的门槛，并支持初学者同时学习编程逻辑和理论。
  • 理解这些工具对教育场景中学术诚信和学习效果的影响，以及它们的潜在局限性。

• 研究动机与相关工作:

  • 以往研究主要集中于人工智能代码生成器的可用性，而非它们对学习效果的影响。
  • 作者希望通过量化实验来探讨这些工具对于初学者学习编程的帮助，以及它们是否会在学习过程中导致过度依赖。

解决方案

• 方法:

  • 设计了一个控制实验，使用基于Python的学习平台 Coding Steps，测试年龄在10-17岁之间、没有文本编程经验的69名初学者。
  • 实验包括三个阶段：介绍阶段（使用Scratch编程）、训练阶段（使用AI代码生成器完成任务或手动编程任务）和评估阶段（测试学习后保留的编程能力）。
  • 在训练阶段，将受试者分为两组，其中一组使用OpenAI Codex辅助编程，另一组手动完成任务。

• 创新之处:

  • 通过设计两部分任务（代码编制与代码修改）深入研究初学者的学习效果与代码生成器的使用行为。
  • 详细记录和量化使用人工智能工具的行为模式，如：代码生成器的使用频率、生成代码被修改的比例、使用文档的频率。

• 实施步骤与技术:

  • 开发了一个定制化的学习环境“Coding Steps”，功能包括语法高亮、实时错误检测、嵌入式Python文档和AI代码生成器。
  • 使用日志记录系统，跟踪每位学习者的任务完成情况、文档访问、代码运行错误类型以及代码生成器的使用行为。

研究成果

• 具体成果:

  • 使用AI代码生成器显著提高了代码编制任务的完成率、正确性得分、减少了任务完成时间和遇到的错误。
  • 在代码修改任务中，两个实验组的表现相近，说明AI代码生成器在训练阶段没有削弱学习者的代码修改能力。

• 与现有成果的比较:

  • 与手动学习的基线组相比，使用Codex组的学习者在训练阶段表现更优，但在保留测试中的优势不足以达到统计显著。
  • 编程熟练度较高的学习者在使用人工智能工具后表现提升更显著，而熟练度低的学习者受益较为有限。

• 实验或评估结果:

  • 在评估阶段（包括保留测试），AI代码生成器组的表现略优，尤其是在处理复杂主题（如循环和数组）时。
  • 初学者使用AI代码生成器时采用了多种策略，如逐步拆解任务和编写详细的提示语，但32%的提示语为简单复制问题描述。

• 局限性与未来方向:

  • 样本量限制了某些指标上的统计显著性测试结果。
  • 尚未深入研究初学者对AI生成的代码的思维过程、任务分解策略及学习行为。
  • 未来可以探索AI代码生成器对更复杂算法设计的支持，以及对非英语母语初学者的影响。
  • 设计旨在减少过度使用或依赖的工具功能，例如伴随代码生成的解释，或强制学习者参与代码修改任务。

设计建议与未来研究

• 设计建议:

  • AI代码助手应通过逐步展示代码块并提供解释，适当降低学习者的心理负担。
  • 增加限制措施，例如在使用生成的代码之前要求完成相关小任务，使学习者更深入理解代码逻辑。

• 未来研究方向:

  • 优化并明确AI代码助手对初学者语言表达能力和逻辑建模的支持方式。
  • 针对更正式的教育场景进行研究，例如高中或大学计算机科学课程中引入AI生成器的影响。

这项研究首次量化了AI代码生成器对初学者学习文本编程的影响，为教育者和研究者进一步探讨AI在编程教育中的应用提供了重要的参考。