围绕不完美AI自动评分器的态度

文献标题

Attitudes Surrounding an Imperfect AI Autograder

文献信息

• 主题领域: 人机交互与教育技术，特别是基于自然语言处理的自动评分系统在教育中的应用与评价。
• 关键词: 人机交互, 不完美AI, AI接受性, 民间理论, 自动评分器, 计算机科学教育, ASAG, 教育公平, 编程

研究背景与问题

• 发现问题或挑战:
  1. 虽然AI评分器广泛应用于教育领域，但与学生互动以及学生对评分器的态度研究较为缺乏。
  2. 学生在面对不完美的自动评分系统时可能会形成错误的答案构造策略，这会影响评估的有效性。
  3. 自动评分器的错误可能导致信任问题，以及对公平性和教育价值的质疑。
• 问题重要性: 随着教育领域教授课程的规模增大，使用AI评分器可以大大减少人力成本并提供及时反馈。然而，学生和教师对自动评分系统的接受程度可能会影响这些技术的进一步推广。
• 研究动机与相关工作: 作者的研究旨在通过对大学计算机科学课程使用的自动评分系统所引发的学生态度进行深入研究，从而形成对AI评分器实施的指导。有关自动评分系统的学生态度的相关先前研究有限，特别是在错误率和功能表现对学生的影响方面。

解决方案

• 研究方法: 作者采用混合方法（包括调查与访谈）对学生的态度和交互经验进行研究，并具体探讨学生的答案构造策略、对评分器准确性的认知、对评分公平性的看法、学习价值与满足感。

• 主要创新点:

  1. 作者通过对学生的态度进行定量和定性分析，揭示了学生对错误评分（特别是假阴性和假阳性）的认识影响，包括对准确性、公平性及学习价值的影响。
  2. 引入“民间理论”（folk theories）的概念，探索学生如何形成关于自动评分系统工作机制的不正确或不完整的理论。
  3. 系统提出了一些指导方针，旨在以更人性化的方式将不完美的评分系统融入课堂。

• 实施步骤及技术: 研究具体分析了评分系统的错误情况（15%的假阳性率和10%的假阴性率），探讨了学生与系统互动过程中形成的策略与误解，并形成初步的应用指导：

  • 提高透明度：帮助学生理解算法的工作原理和限制。
  • 采用实践导向的低风险环境（如家庭作业）以帮助学生熟悉系统。
  • 在高风险环境中（如考试）采用人工干预以减少评分错误的影响。

研究成果

• 具体成果:
  1. 学生错误地高估了自动评分器将正确答案标记为错误（假阴性）的概率，且这种高估与对评分器的满意度和公平性认知呈负相关。
  2. 对于评分器假阳性（错误答案被标记为正确），学生的认识较少，这可能引发公平性和学习效果的问题。
  3. 民间理论和学生对系统错误的认知可能导致次优的答案构造策略。
• 与现有解决方案相比的优势: 本研究深入探讨了学生的主观体验，提出了具有针对性的人性化指导方针，并为未来的评分系统设计提供了实证性的建议。
• 实验或评估结果: 通过混合方法分析，揭示了学生对评分器运行机制和错误率的理解有限，且对评分错误表现出不同程度的敏感度。学生普遍希望评分器能够更加透明，并要求更详细的指导来应对评分器的错误。
• 局限性与未来方向:
  • 局限性:
    1. 研究数据依赖特定环境（大学课程），不适用于所有评分器或教育场景。
    2. 自我报告方法可能存在偏差，如回忆偏差。
  • 未来方向:
    1. 探索如何以无偏差方式评估学生的态度和认知错误。
    2. 针对不同领域的AI评分器功能性能提升和优化策略。
    3. 研究降低假阴性和假阳性对教育公平性和学习价值影响的最佳解决方案。