使用LLM同伴学习基于代理的建模：初学者和专家使用ChatGPT和NetLogo Chat的经验

文献标题

Learning Agent-based Modeling with LLM Companions: Experiences of Novices and Experts Using ChatGPT & NetLogo Chat

文献信息

• 主题领域: 人机交互、人工智能辅助编程教育、计算机建模
• 关键词: Agent-based Modeling, NetLogo Chat, ChatGPT, Programming Assistant, LLM Companion, Learning with LLMs

研究背景与问题

• 发现的问题或挑战:

  • 自编码能力的大型语言模型（LLMs）可能从根本上改变计算机编程的方式，但其对编程学习的实际影响研究有限。
  • 虽然许多研究探讨了LLM在通用编程语言（如Python和JavaScript）中的表现，但关于其在特定领域如代理建模（ABM）中的应用却鲜有研究。
  • 现有研究发现，经验丰富的程序员从LLM中获益更多，但对原因的理解仍不清楚。

• 研究重要性:

  • ABM已经在自然和社会科学领域广泛应用，尤其适合用于模拟复杂系统的涌现现象。
  • NetLogo作为一种广泛使用的ABM编程语言，连接了科学研究和教育，但其复杂性和学习曲线仍是许多用户的挑战。
  • 大型语言模型可能为科学建模提供更便捷的学习和实践工具。

• 研究动机与相关工作:

  • 该团队设计了一个新的系统（NetLogo Chat），尝试通过结合Constructionist学习理论和最佳ABM实践，利用LLM接口为NetLogo的学习和实践提供支持。
  • 此研究旨在理解LLM在促进ABM学习时的用户感知、行为和需求，以填补现有文献中的知识空白。

解决方案

• 提出的方法或解决方案:

  • 设计并开发了一个基于LLM的系统——NetLogo Chat，集成到NetLogo IDE中，旨在支持用户学习和实践NetLogo。
  • NetLogo Chat的设计包括几个核心功能：提供权威文档支持、对用户的需求进行更多澄清以及支持代码调试。

• 创新之处:

  • 系统试图通过强调用户控制和透明度来克服LLM的幻觉（hallucination）问题。
  • 引入基于NetLogo官方文档的权威信息，提升LLM的表现，并加强用户的信任感。
  • 打造高度集成化的学习体验，将对话助手直接嵌入NetLogo的开发环境内。

• 实施步骤与关键技术:

  • 通过Prompt Engineering技术优化与LLM的交互，并内置ReAct框架以减少幻觉并提高可解释性。
  • 在实验版本中结合NetLogo官方文档和代码示例以改进AI性能，并提供相关权威资源供用户浏览。
  • 支持用户在对话界面中运行小代码块，调试问题代码并快速创建工作模型。

研究成果

• 具体成果:

  • NetLogo Chat设计为支持用户逐步构建代码，并优化整合到NetLogo IDE中。
  • 通过与30位专家和初学者的实证访谈，揭示了不同经验水平用户在与LLM协作中感知、行为和需求的差异。
  • 提出了影响人类-LLM协作效率的知识差距理论，并给出了潜在的设计建议。

• 与现有解决方案相比的优势:

  • NetLogo Chat支持更个性化的学习体验，适应不同用户的知识水平和学习路径。
  • 功能强化了用户对代码调试的控制，并减少LLM对用户需求的过度假设。
  • 专为NetLogo及其学术和教育用户设计，使得ABM语言学习和建模实践变得更加高效便捷。

• 实验或评估结果:

  • 专家用户显著表现出从LLM中获益更多的趋势，而初学者容易受到AI幻觉的负面影响。
  • 专家倾向于批判性地评估和调整AI生成的代码，而初学者更多依赖AI的指导，缺乏代码阅读和调试经验。
  • 实验揭示了初学者在与LLM协作中存在知识差距，包括对建模、基本语法和调试的理解不足。

• 局限性与未来方向:

  • 研究样本主要来自北美和欧洲，K-12教育者及学生比例较低，亟需更具代表性的样本来验证研究结论的适用性。
  • 后续研究可以进行更严格的量化与对照实验，进一步检验和扩展现有发现。
  • 未来迭代设计目标包括增强个性化功能、更大范围的集成，以及更加适应不同文化和知识背景的操作体验。