初学者程序员和代码LLM（误解）彼此的方式

文献标题

How Beginning Programmers and Code LLMs (Mis)read Each Other

文献信息

• 主题领域: 人类与人工智能交互领域，研究初学编程者如何与大型语言模型（LLM）生成代码交互。
• 关键词: 初学编程者、代码生成、LLM、人类与人工智能交互、教育技术、编程教育、代码生成策略、任务难度、自然语言描述、自动化评估

研究背景与问题

• 发现的问题或挑战: 初学编程者在与代码生成的大型语言模型（Code LLMs）交互时面临多个关键困难，包括清晰地表达自身的编程意图、评估模型生成代码的正确性，以及迭代修改描述以解决代码中的问题。

• 重要性: 代码生成模型已成为软件工程等领域的生产力工具，而研究这些技术对非专业用户（尤其是学生群体）的影响，可能揭示技术差距并惠及编程教育领域。然而，目前对初学者如何使用这些工具的系统性研究仍不充分。

• 研究动机与相关工作: 现有研究更多聚焦于专业编程人员使用Code LLM的影响，而关于初学者如何与这些工具交互以及其困难所在的细化研究较少。该文献旨在填补这一空白，并探索促进编程工具进一步民主化的路径。

解决方案

• 方法或解决方案: 文章设计了一项跨机构大规模实验，对120名刚完成编程入门课程的大学生进行评估，探讨他们如何撰写初始描述并修改描述以生成正确代码。

• 创新之处:

  • 提出了一个独特的实验设计，通过自动化测试代码正确性来隔离学生在创建和编辑代码生成描述时的具体困难。
  • 实验规模较大，涵盖三所高校的学生以及八个编程问题类别。
  • 针对模型非确定性输出问题以及低级任务选择，进行了深度分析。

• 实施步骤及技术:

  1. 提供输入/输出的测试用例，让学生撰写自然语言的代码描述。
  2. 使用Codex模型生成代码，自动检测并反馈生成代码在测试中的正确性。
  3. 在无法成功生成正确代码时，学生需要修改描述进行再尝试。
  4. 收集互动过程中的数据，包括失败原因、学生的感知及对LLM的心理模型。

研究成果

• 具体成果:

  • 超过43%的学生能成功生成部分代码，但部分学生需要重复多次尝试。
  • 许多学生表现出与Code LLM有效互动的困难，包括描述清晰度不足、不熟悉输出代码结构以及无法应对模型生成的随机性。
  • 实验揭示了一些学生的心理模型误区，例如认为模型基于关键词查找代码。

• 优势与比较:

  • 与现有研究相比，该实验解决了问题选择与描述问题的方式对实验结果的干扰，并通过系统性分析揭示了学生特定的认知困境。
  • 为编程教育和工具设计提供了实证支撑，包括指导如何通过训练帮助初学者更好地提出有效描述。

• 实验或评估结果:

  • 学生的任务成功率与其编程经验和家庭教育背景相关。例如，有额外编程经验的学生表现出更高的成功率。
  • 第一代大学生在描述生成任务中的表现明显低于其他学生，提示需要关注这类算法工具的公平性问题。

• 局限性与未来方向:

  • 局限性:
    • 学生的基础编程背景并不完全统一，这可能影响实验结果。
    • 由于快速变化的技术环境，所使用的Codex模型可能代表有限的技术水平或体验条件。
  • 未来方向:
    • 开发更易于初学者使用的Code LLM交互接口，例如通过引入解释性更强的系统设计来减少混乱。
    • 从使用者心理模型入手，设计教育培训内容，帮助初学者构建正确的人工智能交互认知。
    • 对模型选型进行优化，例如使用开放源代码的模型以减少研究中的技术依赖风险。

通过以上实验，该研究不仅为Code LLM在教育中的应用开拓了可能性，也揭示了促进编程民主化的关键挑战。