协同设计 Ripplet：一个基于教师工作流概念模型的 LLM 辅助评估题目创作系统

文献标题

Codesigning Ripplet: an LLM-Assisted Assessment Authoring System Grounded in a Conceptual Model of Teachers’ Workflows

出版信息

• 主题领域: 基于人工智能支持的教育评估创作
• 关键词: LLMs, 评估创作, 教育技术, 人机协作, 可复用编辑, 形成性评估, 迭代工作流, 共创设计, 教师工具, 多层次交互

背景与问题

• 问题/挑战: 教师在创建高质量评估时面临显著挑战，包括时间限制、缺乏培训以及工具不足。现有的基于人工智能的解决方案主要集中于单个问题的生成，未能解决评估创作的多层次和迭代性质。
• 重要性: 高质量评估对学生学习和教师问责至关重要。解决评估创建中的低效问题可以改善教育成果并减少学校间的差距。
• 动机与相关工作: 之前关于自动问题生成（AQG）和人机协作的研究显示出一定的潜力，但仍局限于单个问题的生成。缺乏将人工智能整合到教师整体工作流中的工具，以支持评估的创建、调整和完善。

解决方案

• 提出的方法: Ripplet，一个基于大型语言模型（LLMs）的网络系统，用于支持多层次、迭代的评估创作工作流。
• 创新点:
  1. 开发了一个概念模型，捕捉教师在创作评估和完善需求时的迭代双重过程。
  2. 引入多层次可复用交互，使教师能够在问题和评估之间适配和复用编辑内容。
  3. 集成人工智能工具以支持问题生成、调整和质量保证，同时将教师的需求嵌入工作流中。
  4. 通过与13名教师的共创设计以及与另外15名教师的对照研究，展示Ripplet的影响。
• 过程与关键技术:
  • 通过为期七个月、分三阶段的共创设计过程，与教师共同开发概念模型、设计目标并完善Ripplet。
  • 实现了多层次可复用编辑、从多样化输入生成问题以及重组和导出评估的工具功能。
  • 通过独立课堂应用和对照用户研究评估Ripplet的有效性。

结果

• 具体发现:
  • Ripplet提升了评估质量（在10分制中提高1.11分，p = 0.032），并提高了教师对投入与结果比值的满意度（提高1.93分，p = 0.012）。
  • 教师报告节省了时间，例如在30分钟内完成28道题的考试设计，而非耗时五小时。
  • 多层次可复用编辑支持了内容的高效调整和复用。
• 相较基线的优势:
  • Ripplet在享受度（提高2.70分，p = 0.003）、探索性（提高2.43分，p = 0.012）和评估质量方面优于教师的当前实践。
  • 使教师能够创建他们原本不会制作的评估，将其角色从生成转变为策划。
• 实验/评估:
  • 与来自八所学校的13名教师共创设计，随后在课堂中独立使用。
  • 通过对照用户研究，与15名教师比较Ripplet与其当前实践，采用问卷调查和定性反馈。
• 局限性与未来工作:
  • 共创设计过程中新手教师和非STEM教师的代表性有限。
  • 需要防范措施以减轻人工智能依赖的风险，特别是对经验较少的教师。
  • 未来工作包括对多层次可复用交互的更深入评估，以及将概念模型扩展到多样化的教学环境中。

总结

本文提出了Ripplet，一个基于LLM辅助的评估创作系统，通过与教师为期七个月的共创设计过程开发而成。Ripplet通过支持问题生成、调整和编辑复用，实现了迭代的多层次工作流。在共创设计和对照研究中，Ripplet提升了评估质量和教师满意度。尽管展示了显著的教育效益，未来工作将涵盖更广泛的教师群体，并完善人工智能依赖的防范措施。