AI 介导的反馈改善学生修改：一项大规模本科课程中 FeedbackWriter 的随机对照试验

文献标题

AI-Mediated Feedback Improves Student Revisions: A Randomized Trial with FeedbackWriter in a Large Undergraduate Course

出版信息

• 主题领域: 教育环境中的AI辅助反馈
• 关键词: AI辅助反馈, FeedbackWriter, 大型语言模型, 知识密集型论文, 人工智能协作, 修订质量, 助教, 基于评分标准的反馈, 学生学习, 随机对照试验

背景与问题

• 问题/挑战: 现有关于AI生成反馈的研究结果不一，对人类评估者与AI协作的AI辅助反馈的探索有限。以往研究通常集中于简答题，或评估反馈质量而未衡量其对学生学习成果的影响。
• 重要性: 理解AI辅助反馈在提升学生修订和学习方面的有效性，可以为大规模课程中提供高质量反馈提供可扩展的解决方案，解决教师工作负担和反馈一致性等问题。
• 动机与相关工作: 先前研究表明，AI生成的反馈可能有用，但通常缺乏准确性和与教学目标的一致性。人类与AI的协作在其他领域显示出潜力，但其在知识密集型论文反馈中的应用仍未充分探索。本研究基于这些空白，调查了真实课堂环境中的AI辅助反馈。

解决方案

• 提出的方法: FeedbackWriter系统为助教（TAs）提供AI生成的反馈建议，同时允许他们审查、编辑或忽略这些建议。
• 创新点:
  1. 引入FeedbackWriter，将AI反馈生成与人类评估者的工作流程对齐，适用于知识密集型论文。
  2. 首次通过随机对照试验比较AI辅助反馈与纯人工反馈对学生修订质量和学习成果的影响。
  3. 通过迭代优化评分标准，提高AI判断的准确性和反馈质量。
  4. 分析助教对AI建议的参与情况及其对反馈质量和学生成果的影响。
• 流程与关键技术:
  1. FeedbackWriter通过识别相关句子、判断评分标准的满足情况并撰写反馈信息生成反馈。
  2. 助教使用交互界面审查AI建议，修改判断，并提供与评分标准一致的反馈。
  3. 在一门本科经济学课程中进行了随机试验（N=354名学生，11名助教），学生在两次写作作业中分别接受AI辅助反馈或纯人工反馈。

结果

• 具体发现:
  1. 接受AI辅助反馈的学生产生了更高质量的修订（Cohen’s d = 0.50），相当于从第50百分位提高到第70百分位。
  2. 与纯人工反馈相比，AI辅助反馈在可操作性（89.3% vs. 75.8%）、促进独立学习（92.6% vs. 82.3%）和语气/支持性（97.4% vs. 80.8%）方面表现更优。
  3. 助教在51.3%的反馈评论中采用了AI建议，并在11.3%的情况下纠正了AI判断。
• 相较基线的优势:
  • AI辅助反馈提供了更全面且与评分标准一致的反馈，并提高了助教之间的评分一致性。
  • 接受AI辅助反馈的学生在修订质量上比接受纯人工反馈的学生有更大的提升。
• 实验/评估:
  • 在两次作业中采用对照条件平衡的随机对照试验。
  • 评估指标包括修订质量（使用基于LLM的评分标准评估器）、后测分数和反馈质量维度。
  • 数据来源包括系统日志、反馈的定性分析和助教访谈。
• 局限性与未来工作:
  • 未与纯AI反馈进行比较。
  • 使用基于AI的评估器评估论文质量，可能引入偏差。
  • 对长期学习成果和学生对AI辅助反馈的看法探索有限。
  • 未来研究应调查持续实践效果、优化评分标准，并探索AI建议的实时适应性。

总结

本研究介绍了FeedbackWriter系统，该系统使助教能够对知识密集型论文提供AI辅助反馈。在一门大型本科课程中的随机试验表明，AI辅助反馈改善了学生修订质量，并表现出可操作性和促进独立学习等理想的反馈特性。助教积极参与AI建议，增强了反馈的全面性和一致性。研究结果突显了人类与AI协作在扩展高质量反馈方面的潜力，特别是在结构化、基于评分标准的作业中。未来研究应探索纯AI反馈、长期学习影响以及在多样化教育环境中的更广泛应用。