Promptiverse：通过人机混合知识图标注实现支架提示的可扩展生成

文献标题

Promptiverse: Scalable Generation of Scaffolding Prompts Through Human-AI Hybrid Knowledge Graph Annotation

文献信息

• 主题领域: 在线学习技术，知识图谱，人工智能（AI）教育技术
• 关键词: scaffolding prompt, knowledge graph, human-AI hybrid annotation, online education, natural language generation, Ausubel's meaningful learning theory, video learning, educational technology, artificial intelligence, concept mapping

研究背景与问题

• 问题或挑战:

  • 当前在线学习课程常采用“一刀切”式设计，不能满足具有不同背景知识的学习者需求。
  • 视频学习中只提供统一的讲解内容，学生可能因背景知识不同而对部分内容无法理解。
  • 作者指出，生成多样性强且适应范围广的支架式提示（scaffolding prompts）需要极大的创作负担，从而不可行。

• 重要性:

  • 提供生成式支架提示可以帮助学生通过问题与提示更好地学习和理解视频中的知识点，能够检查学习者的理解，增强参与度，并将新概念与已知概念联系起来，从而扩大他们对知识点的掌握和组织能力。
  • 面向多样化的在线学习体验需求，这类支架提示能够显著提高学习效果。

• 研究动机与相关工作:

  • 受教育心理学家Ausubel的有意义学习理论启发，作者希望通过组织和利用知识图谱生成多样化提示以减轻创作负担。
  • 相关研究聚焦于支架式提示的学习效果以及利用算法和人工智能进行问答生成及知识结构的表示。

解决方案

• 方法或解决方案:

  1. 提出Promptiverse框架，该框架使用知识图谱生成多回合的支架式提示，结合有意义学习中的知识组织和学习模式设计。
  2. 提出Grannotate，一种结合人机共创的知识图谱注释工具，它利用混合主动策略减少人工负担。

• 创新之处:

  • 自动化脚本遍历生成提示的能力使得Promptiverse可以大规模生成结构化、多样化的提示。
  • Grannotate采用人工智能推荐知识实体和关系，从而降低人为创建知识图谱的难度。

• 实施步骤:

  1. 将讲座内容转化为带有层级关系的知识图谱，采用实体和关系构成知识三元组。
  2. 基于知识结构，按照不同的学习模式（如上位学习、相关学习）实现提示生成机制。
  3. 使用混合式注释工具Grannotate，辅助注释者通过人工智能推荐构建知识图谱。
  4. 利用Promptiverse让知识图谱中的概念实体以特定路径和模式被转换为多样提示，从而帮助学习者。

研究成果

• 具体成果:

  • 提出的Promptiverse框架和Grannotate工具能够使讲师生成的支架提示数量比手工设计方法翻40倍，同时保持与手工设计类似的提示质量。
  • 人机融合方法生成的提示，其质量与完全手工设计的提示相当。

• 比较优势:

  • 相比手工创作，Promptiverse生成提示的效率显著提升，同时内容多样化程度更高。
  • 人机融合生成的提示质量优于纯AI自动化方法生成的提示。

• 实验或评估结果:

  • 实验招募了具备领域知识的讲师，分别通过人工设计、纯AI生成以及Grannotate辅助的方式生成提示。
  • 定量评估显示，Promptiverse生成提示的数量更大，Grannotate辅助设计的提示质量接近甚至匹配手工提示。
  • 通过NASA-TLX问卷量化了参与者的认知负担，结果表明Grannotate降低了任务的时间需求，且在生成数量和质量之间实现了良好的平衡。

• 局限性与未来方向:

  • 当前仅使用知识图谱中的三元组生成提示，而未处理多实体或更复杂的知识关系。
  • 方法主要针对基于文本的学习内容，未能利用其他媒体资源生成提示。
  • 呼吁将该研究扩展到其他学科领域，如音乐教育、编程教学等，以验证其广泛适用性。
  • 未来可能结合预训练语言模型使Promptiverse生成更复杂和灵活的提示内容。

总结

Promptiverse结合了Ausubel的教学理论和AI技术，提出了支持多样化教学的创新性提示生成系统。通过引入Grannotate工具，显著增强了提示创作效率，同时兼顾质量和内容广度。该研究为提升在线学习体验提供了新途径，并且在教育科学及AI应用领域具有重要的意义和潜在应用价值。