超越分数：可解释智能评估增强职前教师评估素养

文献标题

Beyond Scores: Explainable Intelligent Assessment Strengthens Pre-service Teachers' Assessment Literacy

出版信息

• 主题领域: 教育中的可解释人工智能，聚焦于教师评估素养。
• 关键词: 可解释人工智能（XAI）、评估素养、认知诊断评估（CDA）、教师教育、反思、自我调节、教学决策、个性化学习、诊断推理、教育技术。

背景与问题

• 问题 / 挑战: 职前教师难以解释和利用复杂的评估数据，原因在于现有工具的输出不透明且缺乏支架支持，这阻碍了他们评估素养（AL）的发展。
• 重要性: 加强评估素养对于实现有效的个性化教育至关重要，这可以帮助教师基于证据做出教学决策并支持学生学习。
• 动机与相关工作: 之前关于认知诊断评估（CDA）和可解释人工智能（XAI）的研究主要关注算法透明性或面向学习者的反馈，但很少涉及与课堂工作流相匹配的面向教师的工具。现有的CDA工具通常将技术输出呈现为固定的终点，限制了其对教师的实际应用价值。

解决方案

• 提出的方法: XIA（可解释智能评估），一个集成可视化诊断推理、对比性解释和反事实解释的平台，用于支撑职前教师的评估素养。
• 创新点:
  1. 针对面向教师的可解释评估工具设计需求和原则，强调清晰性、充分性和可操作性。
  2. 系统架构结合了认知诊断建模、解释生成和以教师为中心的界面。
  3. 提供实证证据，表明解释性支架可以提升反思、自我调节和评估意识。
• 流程和关键技术:
  • 教师上传学生测试数据，系统将其处理为决策支持信息（例如测试摘要、题目级别分析）。
  • 诊断推理和解释模块提供可视化的推理路径、对比性解释（例如，“为什么是结果P而非Q”）和反事实解释（例如，“如果掌握假设发生变化会怎样”）。
  • 两个界面：(1) 教学决策支持界面，提供统计洞察；(2) 诊断推理和解释界面，支持更深入的反思和校准。

结果

• 具体发现:
  • 全支持组（访问两个界面）在反思（ΔM = 0.86, p < 0.001）、自我调节（ΔM = 0.93, p < 0.01）和评估意识（ΔM = 0.68, p < 0.01）方面显著提升。
  • 全支持组的评估准确性平均绝对误差（MAE）显著降低（ΔM = -0.063, p = 0.009）。
• 相较基线的优势:
  • 全支持组在评估意识和误差减少方面优于对照组和决策支持组。
  • 决策支持组在反思和自我调节方面有中等程度的提升，但在评估准确性上未表现出系统性改进。
• 实验 / 评估:
  • 混合方法研究，21名职前教师分为三组：对照组（无工具）、决策支持组和全支持组。
  • 前后测评估了评估准确性和评估素养维度（反思、自我调节、评估意识）。
  • 半结构化访谈揭示了从基于分数的推理向基于证据的推理的转变。
• 局限性与未来工作:
  • 短期、单次实验设计限制了对长期影响的洞察。
  • 研究聚焦于数学/技术教育，推广到其他学科或在职教师的适用性尚不明确。
  • 未来研究应探索纵向设计、多模态数据，并区分不同解释机制的作用。

总结

本研究提出了XIA，一个通过集成诊断推理、对比性解释和反事实解释来增强职前教师评估素养的可解释智能评估平台。控制研究结果表明，XIA显著提升了反思、自我调节和评估意识，其中全支持版本表现出最强的增益。研究结果强调了可解释人工智能在支撑基于证据的推理和教学决策中的潜力。未来研究应将这一方法扩展到多样化的情境，并检验其在真实课堂环境中的长期影响。