协助教学助理进行自动代码更正

文献标题

Assisting Teaching Assistants with Automatic Code Corrections

文献信息

• 主题领域: 计算机科学教育，特别是教学助理（Teaching Assistant, TA）在帮助学生编程调试中的角色与辅助工具
• 关键词: 学生代码调试, 编程教学, 自动代码修正, 认知负荷, 教学助理, 用户行为分析, 计算机科学教育, 调试工具, 学生意图理解, 编程教育技术

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 本科教学助理（TAs）通常是学生在编程问题上遇到困难时的第一且唯一的求助对象。
  • 但TAs往往是编程和教学的新手，这使得他们在同时完成理解学生代码意图、发现和修正代码错误，以及向学生解释解决方案这一过程中面临巨大挑战。
  • 研究表明，TA的主要困难并非源自概念理解问题，而是高认知负荷和工作记忆的限制，例如重复性错误遗漏和注意力分散。

• 为什么这个问题很重要？

  • TAs 的能力对学生学习和编程能力的提升有重要影响。
  • 帮助TAs更高效地找出问题和书写解释，不仅可以改进学生的学习体验，还能提升课程效率。

• 研究动机与相关工作

  • 已有研究主要集中于评估TA项目的总体效果，对TA与学生具体交互的细致研究较少。
  • 调试和自动代码修正方面已有一些工作，但主要关注程序员的认知过程或学生如何自己使用工具修复代码，而很少探讨将修正信息提供给帮助学生的教学人员的影响。
  • 本研究希望通过提供自动生成的“修正代码”，探索其如何帮助TA更好地完成调试和指导过程。

解决方案

• 作者提出了哪些方法或解决方案？

  • 研究设计一个界面，该界面展示学生代码和自动生成的修正代码的对比。
  • 探讨是否提供修正代码可以帮助TAs调试更快、更准确，并同时减轻认知负荷。
  • 针对生成的修正代码的质量（高质量与低质量）分别进行实验，评估其对TAs行为的影响。

• 该解决方案的创新之处是什么？

  • 该研究是首次专注于使用自动代码修正与TAs交互过程的研究，强调帮助TAs改善学生反馈，而非直接提供学生自用的提示。
  • 更细致地分析了TA在调试和提供反馈中的难点，并评估如何通过工具进行有效支持。

• 实施步骤是什么？使用了哪些关键技术？

  • 实验设计
    • 通过两个实验分别测试高质量自动修正解决方案和低质量修正解决方案对TAs的影响。
    • 实现一个基于网络的界面，允许TAs看到学生代码、测试用例结果，以及在实验条件下自动生成的修正代码。
  • 数据收集
    • 记录TAs每次测试代码的行为日志和最终提交的代码及学生反馈。
    • 收集参与者的实验前经验（如Python经验，是否担任过TA）和对系统体验的后测问卷。
  • 数据分析
    • 使用定量分析比较不同实验条件下TAs的调试时间、代码修改距离、错误修复率等。
    • 采用定性方法，分析TAs撰写的文字解释中是否覆盖所有的代码错误。

研究成果

• 取得了哪些具体成果？

  • TAs在可以看到自动生成的修正代码时，调试时间平均缩短29%。
  • TAs的解决方案更接近于学生的原始解决方案，改动更少（编辑距离更短）。
  • 自动代码修正显著提高了TAs修复和解释代码错误的准确性。看到修正代码使得TAs修复代码错误的可能性增加到原来的17倍，解释完整错误的可能性增加约30%。

• 与现有解决方案相比，它有哪些优势？

  • 当前大多数研究集中于帮助学生自我修正，而本研究首次探索通过外部辅助（TAs工具）间接提升学生学习效果。
  • 实验设计尤其细致地分析了哪些具体错误对TAs构成最大困难，以及哪些特定工具功能对减轻这些困难最为有效。

• 实验或评估结果是什么？

  • 即便是低质量的自动代码修正，尽管可能拖慢调试速度，但并没有大幅影响最终代码修复和错误说明的准确性。
  • TAs对复杂、带有“学生意图”难以推断的代码段（如非标准算法）表现出显著更多的困难，这些问题显著影响了他们的调试效果和对学生交流的准确性。

• 局限性与未来方向

  • 局限性
    • 实验的参与者数量有限（22名），后续需要更大规模的实验来验证结论。
    • 实验环境与实际课堂场景有距离，例如参与者无需现场与学生交互。
    • 界面的对比功能在面对多个错误时可能仍存在不足，特别是小范围修改的错误更容易被忽略。
  • 未来研究方向
    • 扩展实验到更复杂、更大的教学场景中，例如测试TAs在线帮助学生的实时反馈能力。
    • 改进界面工具，例如集合错误分类和解释功能，进一步解析复杂错误对TAs的辅助效果。
    • 深入研究TAs如何使用生成修正代码来推断学生意图，并在此基础上帮助学生学习。