ReVisor：基于讨论的反思性设计工具，助力教学设计师通过AI改进师资培训材料

文献标题

ReVisor: A Reflective Design Tool for Instructional Designers to Improve Teacher Training Materials via AI Discussions

出版信息

• 主题领域: 基于课堂话语分析的人工智能驱动工具，用于改进教学设计。
• 关键词: 教学设计, 课堂话语, 教师培训, AI反馈, 多智能体系统, 模糊检测, 反思实践, LLMs, 教育技术, 迭代优化。

背景与问题

• 问题/挑战: 教学设计人员缺乏系统工具来根据真实课堂话语评估和优化教师培训材料。这些话语具有定性特征、数据量庞大且难以分析。现有工具主要用于数据总结，无法提供可操作的迭代优化建议。
• 重要性: 改进教师培训材料对于弥合教学理论与课堂实践之间的差距至关重要，确保教师能够有效实施教学策略。
• 动机与相关研究: 之前的研究包括人工标注、可视化工具、多模态感知以及基于人工智能的反馈系统。然而，这些方法主要聚焦于数据总结或辅助教师，而非支持教学设计人员根据真实世界的执行数据优化材料。

解决方案

• 提出的方法: ReVisor是一款反思设计工具，通过大型语言模型（LLMs）驱动的多智能体讨论分析课堂记录，识别教学策略应用中的模糊点，并提供可操作的优化建议。
• 创新点:
  1. 基于多智能体推理的流程，用于检测课堂话语中的模糊性，并将教学方法应用分类为明确、模糊或缺失。
  2. 将人工智能驱动的反馈循环集成到迭代教学设计工作流中。
  3. 开发用户界面，结合统计摘要、AI智能体讨论和改进建议，指导教学设计人员。
  4. 发布开放源码的AI智能体讨论数据集，以促进多智能体推理在教学设计领域的进一步研究。
• 流程与关键技术:
  1. 使用两个LLM智能体分析课堂记录，根据培训材料独立标记教师话语为“存在”、“缺失”或“不确定”。
  2. 当智能体之间出现分歧时触发讨论，最多进行三轮对话以解决模糊问题。
  3. 根据智能体共识或未解决的分歧，将话语分类为“明确”、“模糊”或“缺失”。
  4. 提取针对模糊案例的优化建议，以改进培训材料。
  5. 通过用户界面提供迭代反馈，允许设计人员修订材料并重新分析其影响。

结果

• 具体发现:
  • 该流程在检测教学方法存在性方面实现了F1分数0.73。
  • AI识别的模糊话语被人类参与者显著评为较低，验证了AI分歧作为教学模糊性的代理指标。
  • ReVisor每个修订周期平均减少了培训材料中的模糊案例数量10.89个。
• 相较基线的优势:
  • 使用ReVisor的参与者提出了更具体、基于证据且可操作的修订建议，相较于基线系统表现更优。
  • ReVisor促进了理论方法与实际案例的整合，生成了更清晰且结构更优的培训材料。
• 实验/评估:
  • 一项针对10位专业教学设计人员的用户研究表明，ReVisor显著提高了优化材料的便利性（p = 0.039），并支持包含实际案例（p = 0.031）。
  • 一项针对34名本科生的验证研究确认了AI分歧与人类对教学模糊性的判断一致性（t值范围从-2.19到-9.14，均p < 0.05）。
• 局限性与未来工作:
  • 用户研究样本量较小，范围局限于教师培训材料中的话语动作。
  • 依赖静态课堂记录和中规模LLMs，可能限制其通用性。
  • 未来工作包括探索异构LLM配置、扩展至其他教学领域，以及将ReVisor集成到教师培训工作坊中。

摘要

ReVisor是一款人工智能驱动的工具，通过分析课堂话语并利用多智能体LLM讨论识别模糊点，帮助教学设计人员优化教师培训材料。它提供可操作的反馈，支持迭代优化，并弥合理论与实践之间的差距。系统通过技术评估和用户研究验证了其能力，证明其能够改善培训材料的清晰度和适用性。尽管存在局限性，ReVisor为将人工智能集成到教学设计工作流中提供了一个有前景的框架，并具有在多样化教育环境中应用的潜力。