OpenCD：通过开放式多模态任务赋能儿童数学认知诊断

文献标题

OpenCD: Empowering Diagnosis of Children's Mathematical Cognition through Open-ended Multimodal Tasks

出版信息

• 主题领域: 利用AI辅助的多模态分析进行早期数学教育中的认知诊断。
• 关键词: 认知诊断、多模态任务、早期数学、开放式评估、基于证据的设计、视觉-语言模型、教师与AI协作、可解释AI、形成性评估、基于过程的分析。

背景与问题

• 问题/挑战: 当前早期数学教育中的评估方法通常依赖于封闭式问题，这种方法无法捕捉到复杂的认知过程。开放式任务能够提供更丰富的洞察，但由于其非结构化和多样性，教师难以系统地分析这些任务。
• 重要性: 理解儿童的数学认知对于有针对性的教学干预至关重要，因为早期教育中的基础性缺陷可能对长期学习结果产生影响。
• 动机与相关工作: 先前的研究强调了多模态反应和具身认知在数学学习中的重要性。然而，目前的AI系统主要关注结构化任务的正确性，忽视了开放式评估中复杂的认知行为。本文通过设计一个系统来自动化并解释多模态学生反应的分析，以填补这一空白。

解决方案

• 提出的方法: OpenCD，一个旨在分析多模态开放式任务并为教师提供透明认知诊断和可操作见解的AI系统。
• 创新点:
  1. 将基于证据的设计（ECD）整合到AI诊断中，以教育理论为基础。
  2. 结合视觉-语言模型（VLMs）和基于规则的专家模型的混合架构，用于解释多样化的学生反应。
  3. 面向教师的透明界面，提供双向可追溯性，将诊断结论与行为证据相连接。
  4. 提供班级层面的分析以支持集体教学，同时生成个性化干预的个人档案。
• 流程与关键技术:
  • 捕获多模态数据（如绘画、物体操作、语音）并将其转换为文本和图像脚本进行分析。
  • 视觉-语言模型解释反应过程并检测行为，而基于规则的模块将这些行为映射到认知节点。
  • 证据在认知图谱中传播以综合整体诊断。
  • 诊断结果以认知图谱和综合报告的形式可视化，使教师能够追溯结论到具体的学生行为。

结果

• 具体发现:
  • 诊断准确率：90.3%的AI生成诊断被专家教师评为“完全合理”。
  • 错误分析：大多数错误源于保守偏见，例如低估掌握程度或错误判断证据的充分性。
  • 用户研究：教师在使用OpenCD时报告的心理负担（p=0.046）和努力程度（p=0.0045）显著降低，同时对诊断的信心显著提高（p=0.0081）。
• 相较基线的优势:
  • 自动化分析非结构化多模态数据，解决了基于过程评估的可扩展性挑战。
  • 相较于手动分析，提供了对学生认知更深入的洞察。
• 实验/评估:
  • 专家评估：两位经验丰富的教师对16名学生的320个认知节点的诊断进行了审查。
  • 用户研究：20名教师在手动和OpenCD辅助条件下分析学生反应，并收集了定性和定量反馈。
• 局限性与未来工作:
  • 对高年级主题和较少数字化环境的适用性有限。
  • 诊断流程的延迟（每个反应约1分钟）限制了实时自适应提问。
  • 需要开发可扩展的方法来构建认知图谱并优化中间分析步骤。

总结

OpenCD通过结合视觉-语言模型和基于证据的设计的规则专家系统，解决了早期数学教育中分析儿童多模态开放式反应的挑战。该系统实现了高诊断准确率（90.3%），显著减轻了教师的认知负担，同时增强了他们对学生思维的洞察力。通过透明的界面和班级层面的分析，OpenCD帮助教师做出明智的教学决策，并支持可扩展的基于过程的评估。未来的工作将致力于扩展内容覆盖范围、优化延迟，并验证对教学和学习结果的长期影响。