阅读测验生成器：一种支持教师设计高质量阅读测验问题的人机协作系统

文献标题

ReadingQuizMaker: A Human-NLP Collaborative System that Supports Instructors to Design High-Quality Reading Quiz Questions

文献信息

• 主题领域: 人机协作、自然语言处理及教育技术
• 关键词: 阅读测验, 主动学习, 人机协作, 自动问题生成, 教育技术

研究背景与问题

• 问题发现:

  • 学生通常缺乏主动阅读的能力；只有20%-30%的大学生完成指定阅读材料。
  • 现有的社会注释工具虽能延长阅读时间，却无法提供实质性的内容理解反馈。
  • 教师设计高质量、发人深思的阅读测验问题劳力耗时，且需要专业领域知识和技术支持。
  • 目前的自动问题生成工具广泛被认为质量较低，且常局限于特定领域。

• 重要性:

  • 通过精心设计的阅读测验问题，能够促进学生主动学习并理解内容，同时帮助他们获得即时反馈。
  • 针对教育工作者创建强大的支持工具，有助于解决学术阅读低参与率问题，提升教学效果。

• 研究动机与相关工作:

  • 自动问题生成技术主要适用于语言学习和数学教学，未能解决高阶认知任务目标。
  • 人机协作有潜力弥补纯自动化方法的不足，尤其在人类创造性任务中。

解决方案

• 提出的方法:

  • 开发了一种名为 ReadingQuizMaker 的系统，旨在帮助教师设计高质量的阅读测验问题。
  • 系统基于人机协作模型，结合自然语言处理技术，辅助教师完成问题设计，同时保持教师的完全控制权。

• 创新点:

  • 提供基于工作流程的自然语言处理支持，允许教师选择模型输入并编辑生成结果。
  • 提供即时AI建议（例如句子改写、摘要生成、否定生成等），优化问题构建过程。
  • 提供可视化界面，帮助教师检查内容覆盖率及问题质量。

• 实施步骤与技术:

  • 阅读文本加载至系统界面。
  • 教师可通过划选文本生成问题选项，并预览AI建议。
  • 系统包括问题主体模板库、NLP工具箱（支持改写、否定等操作），以及可导出问题作为测验包。
  • 使用 BART、PEGASUS 等预训练模型处理文本摘要、句子改写及否定生成。

研究成果

• 具体成果:

  • ReadingQuizMaker 系统显著节省了教师问题设计时间，同时提升了问题质量。
  • 在评估研究中，所有参与教师成功创建了他们满意的问题，并认为AI建议有助于灵感触发。
  • 系统被教师认可，可以替代传统问题生成方式，并支持更高层次的教学目标。

• 优势:

  • 人机协作模式优于自动生成方法，给教师提供更大的灵活性和控制感。
  • 与现有工具相比，系统更贴近自然工作流程，并显著提高生成测验问题的质量。

• 实验与评价结果:

  • 在研究中创建了89个问题，其中60%的AI建议被教师采用。
  • 比较基准条件下，教师普遍认为自动生成问题质量较低，缺乏语境，且限制了创造力。

• 局限性与未来方向:

  • 教师在生成误导选项（distractors）时最具挑战，仍存在细化模型性能的需求。
  • 系统目前更适用于学术文章，未来可扩展到更多非正式文本（如新闻、教程等）。
  • 将来可探索优化AI结果可视化（例如摘要、改写结果），提高解释性及用户易用性。
  • 需开展长期纵向实验，理解教师对系统的信任发展及长期效益。

总结与启发

• 阅读测验设计是一个高认知性、高创意性任务，人机协作模式显著提高了教师设计效率并提升了问题质量。
• 本研究揭示了高风险任务（例如教育内容创作）中允许用户提供输入、维持控制权的重要性，为教育技术设计提供了关键意义。