CoGrader：通过协作式大语言模型集成转变教师对项目报告的评估方式

DOI

在当今教育领域，项目报告评分日益重要，因为它们是评估学生综合问题解决能力的关键指标。然而，由于涉及多方面的评估标准（如创造力和同行比较成就），评分仍然具有挑战性。同时，教师在耗时的评分过程中往往难以保持公平性。人工智能的最新进展，特别是大型语言模型，已显示出自动评分任务的潜力（如评估测验或基本写作质量）。然而，当涉及复杂指标（如设计创新和知识实践应用）需要教师对课堂情况的教育见解时，这些工具往往不尽如人意。为解决这一挑战，我们对六位教师进行了形成性研究，开发了CoGrader，引入了结合人机协作指标设计、基准测试和人工智能辅助反馈的新型评分工作流程。CoGrader被发现能有效提高评分效率和一致性，同时为学生提供可靠的同伴比较反馈。我们还讨论了人机协作评分系统发展的设计见解和伦理考量。