TutorCraftEase: 使用大型语言模型提升教学问题设计

研究背景与问题

• 问题和挑战： 作者提出，生成大量高质量的教学问题对于教师来说具有挑战性，尤其对新手教师而言，即便是有经验的教师通常也难以在时间有限的情况下构建大量有效的问题。

  • 传统的智能辅导系统 (ITS) 问题生成工具需要耗费大量时间和专业技术，例如，开发1小时的教学内容需要约300小时。
  • 现有的生成工具往往具有学习曲线陡峭，要求编程或专业编辑技能，从而对教师形成心理负担。
  • 大型语言模型 (LLMs) 虽然被用于教育背景，但通常生成的问题范围有限，仅包括简单的问答形式，缺乏分步指导及类似“提示”和“支架”的辅助材料。

• 问题的重要性： 教学问题在课堂上扮演着至关重要的角色，可用于检查学生理解能力、促进学生批判性思维并激发学习兴趣。然而，现有的资源和技术手段并不足以有效支持教师完成此类任务。

• 研究动机与相关工作： 基于LLMs（如GPT-4），“TutorCraftEase”旨在克服传统工具的局限性，提升教学问题的生成效率，并满足现代教学场景的实际需求。这项研究的背景包括先前的ITS工具（如CTAT、OAtutor）以及LLMs在教育上的潜在应用可能性。

解决方案

• 方法与解决方案： 作者提出了一种名为 "TutorCraftEase" 的交互式生成工具，该工具充分利用LLMs的生成能力，协助教师快速创建多层次、高质量的教学问题，同时提供编辑和改进功能。

• 创新之处：

  1. 分层生成架构：基于“标题-主体-解决步骤”的问题结构，并支持分步指导（如提示和支架），使生成的问题更贴合学生的实际学习需求。
  2. 交互式编辑：教师不仅可以生成问题，还可以通过调整问题属性（如难度、类型和知识点）或手动修改问题来实现个性化定制。
  3. 生成优化技术：
     • 利用链式提示(prompt chaining) 方法生成分层内容。
     • 引入RICTEF（角色、输入、约束、任务、示例、格式）模板，确保模型输出符合学术需求。
     • 树结构分解法将复杂问题拆解为多个子问题，并针对每个子问题生成提示和支架。

• 实施步骤与关键技术：

  1. 文本分析：通过参考教材中的选定部分，模型根据用户输入生成教学问题。
  2. 属性编辑：用户可在问题生成前选择年级、难度、知识点等内容属性，并即时生成符合需求的教学问题。
  3. 实时预览：允许通过预览面板即时查看和测试生成问题的效果。
  4. 数据输出：支持将完成的教学问题导出至特定ITS系统（如OATutor）。

研究成果

• 具体成果：

  1. TutorCraftEase生成的教学问题质量相当于经验丰富的教师所创建的问题。
  2. 在39名参与者的用户实验中，通过与传统表格工具和基础LLM工具的对比，TutorCraftEase显著提高了问题创建效率，同时减少了教师的认知负担。
  3. 实验参与者普遍认为TutorCraftEase操作简便、流程简化，并在增强人机协作与教育视角拓展方面表现突出。

• 优势：

  1. 时间成本显著降低：生成问题所需时间比传统方法（Spreadsheet）减少了40%以上。
  2. 多样性和完整性：生成问题格式多样化，具有更完整的分步指导、提示和支架。
  3. 用户体验良好：得分显著高于竞争工具，特别是在易用性、效率和满意度等维度上。

• 实验或评估结果：

  • 盲测结果：三位资深教师评价了90个随机生成的教学问题，得分显示TutorCraftEase的质量与手动生成的教学问题一致而优于基础LLM工具。
  • 用户问卷调查：在帮助性、可用性、效率等多个方面TutorCraftEase显著优于其他工具。

• 局限性与未来方向：

  1. 局限性：
     • 部分生成问题质量不稳定，存在逻辑性或复杂性不足的问题。
     • 不支持复杂信息输入（如表格或高级模板），限制了特定场景的适应性。
     • 过于依赖LLM使部分用户感到创造自由度受限。
  2. 未来方向：
     • 优化生成的稳定性和质量，引入更智能的输出校正与二次检查机制。
     • 增加支持复杂问题结构的设计功能，同时辅以动态模板提升生成多样性。
     • 探索如何在实际课堂或ITS环境中更好地评估学生对问题内容的接受度和学习成效。

通过Insights上的内容高度概括，可知TutorCraftEase在提升教学问题生成效率、减轻教师负担方面显示出显著前景，同时也进一步为LLMs在教育领域的深度应用提供了重要的经验路径与解决方案。