TreeQuestion：使用 LLM 生成的选择题评估概念学习成果

DOI

生成式人工智能的进展对使用开放性问题评估概念学习成果提出了挑战，因为学生越来越普遍使用 ChatGPT 等工具生成冗长的文本答案。教师需要花费大量时间阅读答案并推断学生的学习成果。我们提出 TreeQuestion，这是一种人机协作系统，旨在帮助教师创建一套选择题来评估学生的概念学习成果。当教师想要评估学生对特定概念的理解时，TreeQuestion 利用大型语言模型中嵌入的丰富知识，生成一套以树状结构组织的选择题。我们对 96 名学生和 10 名教师进行了评估。结果表明，学生在 TreeQuestion 生成的选择题和教师评分的开放性问题上的表现相似。同时，与手动创建的开放性问题相比，TreeQuestion 可以减少教师创建和评分选择题的工作量。我们估计，在假设有 20 名学生的班级中，使用 TreeQuestion 的选择题来评估学习成果可能只需要开放性问题所需时间的 4.6%。