教AI如何编码：使用大型语言模型作为可教学代理进行编程教育

文献标题

Teach AI How to Code: Using Large Language Models as Teachable Agents for Programming Education

文献信息

• 主题领域: 人工智能与教育、编程学习
• 关键词: Human-AI interaction, LLM agents, AI 和教育, 生成式 AI, 编程教学, 学习型教育系统, 对话型代理

研究背景与问题

• 作者发现的问题或挑战:

  • 教学型代理因需要对特定学科领域知识进行繁琐的编程而难以推广。
  • 尽管大语言模型（LLMs）可以降低创建教学型代理的成本，但其广泛的知识使学习者在教学时感到不必要的压力。
  • 当前的教学型代理无法有效激发学习者的知识构建和深度反思。
  • 学习者在与传统代理互动中往往停留在知识陈述（knowledge-telling），而难以开启知识构建（knowledge-building）。

• 研究重要性:

  • 教学型代理在“教学式学习”（Learning By Teaching, LBT）中的应用，可以提高学习者的深度理解和知识重组能力。
  • 探索成本更低且更高效的教学型代理系统，可以为教育者和学习者提供广泛可用的教学解决方案。

• 研究动机与相关工作:

  • 教学型代理在过去的研究中展示了改善学习效果的潜力，但由于知识模型的构建成本高昂，其应用范围受限。
  • 大语言模型展现了强大的对话、角色模拟及从示例学习能力，有望丰富教学型代理的互动方式。
  • 学者们已研究如何通过指导性问题和元认知反馈提高教学效果，但仍少有研究将这些技术整合到基于 LLM 的教学型代理中。

解决方案

• 提出的解决方案:

  • 本研究设计了一个名为 TeachYou 的学习系统，其包含基于 LLM 的教学型代理“AlgoBo”和支持教学元认知反馈的实时分析模块。
  • 引入 Reflect-Respond 提示管道，使 AlgoBo 能够模拟知识状态，并通过反思与回应机制展示渐进的学习曲线。
  • 通过“模式切换”（Mode-shifting），使 AlgoBo 能在对话中交替进行回答与提问，促使学习者构建知识。
  • 加入“Teaching Helper”模块，提供实时教学反馈，帮助学习者优化教学方法。

• 创新之处:

  • AlgoBo 能够基于预设的知识状态表现出错误理解（misconceptions）和逐步学习能力。
  • 设计了能引发深度思考的问题生成系统，用以贴合教学过程中学习者的知识扩展需求。
  • Teaching Helper 实时分析对话并为学习者提供元认知反馈，是提升教学效果的一种新尝试。

• 实施步骤与关键技术:

  • 使用 Prompt 工程开发 Reflect-Respond 管理数据流，模拟 LLM 的知识学习过程。
  • 实现 Mode-shifting 技术，通过问题生成器和对话分类器，在对话中引入思维性问题以激发知识构建。
  • 在对话中通过 Teaching Helper 基于学习者错误教学模式检测提供反馈。

研究成果

• 具体成果:

  • 技术评估表明 Reflect-Respond 管道能够有效配置、维持和更新教学型代理的知识状态。
  • 用户研究发现 Mode-shifting 显著提高知识构建型消息在对话中的密度（效应值 Cohen's d=0.71）。
  • Teaching Helper 帮助学习者反思教学方法，但对整体元认知能力的提升效果有限。

• 优势:

  • 相较传统教学型代理，使用 LLM 的设计成本更低，且通用性强，可适用于不同领域的教学。
  • 模式切换使学习者的对话更加动态，并提升学习体验的互动性和沉浸感。

• 实验或评估结果:

  • 反思和回应流能够维持 AlgoBo 在随机信息输入下的知识状态一致性（持久性）。
  • 用户研究的结果表明 TeachYou 更适合于启发学习者进行知识重建及深入思考。
  • TeachYou 实现了与 LBT 特性匹配的学生—教师角色分担机制。

• 局限性与未来方向:

  • 局限性：

    • 当前测试仅局限于算法学习，未验证在其他学科（如数学、物理）中的适用性。
    • 教学效果评估未进行“前后测试”对比，仅通过间接对话分析得出结论。
    • 当前系统未考虑学习者个性化设置，可能降低了学习参与度。

  • 未来方向：

    • 探讨 LLM 驱动的教学型代理对声明性知识（declarative knowledge）学习的适用性。
    • 开发可由学习者调整的教学型代理设置接口，以支持更高的个人教学需求匹配。
    • 在大规模课堂环境中部署并进行纵向研究，观察学习者长期元认知提升及对系统的接受度。

总结

本研究成功设计了 TeachYou 系统，并验证其在促使学习者构建知识和优化教学互动方面的有效性。利用 LLM 提供的灵活性和低成本构建能力，研究展示了基于 LBT 的教学型代理的潜力，同时提出了未来改进的设计方向，为学术界和实践者提供了重要启示。