计算机科学成绩和写作技能预测Vibe Coding熟练度

文献标题

Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency

出版信息

• 主题领域: 学术技能与基于LLM的编程工作流熟练度之间的关系。
• 关键词: Vibe编程，GUI导向应用，LLM编程，计算机科学成就，书面沟通能力，认知能力，提示质量，横断面研究。

背景与问题

• 问题/挑战: 目前尚不清楚哪些技能能够预测在基于LLM的编程工作流（特别是Vibe编程）中的成功。这限制了为未来开发者设计有效工具和课程的能力。
• 意义: 理解这些预测因素可以指导教育优先事项和工具开发，尤其是在基于LLM的编程日益普及的背景下。
• 动机与相关工作: 先前的研究探讨了自然语言编程和沟通在软件开发中的作用，但缺乏对参与者层面书写和计算机科学技能在LLM增强工作流中的直接评估。本研究通过聚焦于GUI导向的Vibe编程任务，填补了这一空白。

解决方案

• 提出的方法: 进行一项横断面研究，评估书面沟通能力、计算机科学（CS）成就和领域通用认知技能如何预测GUI导向的Vibe编程表现。
• 创新点:
  1. 提供书面沟通能力和CS成就与Vibe编程表现之间联系的实证证据。
  2. 开发了一套经过验证的GUI导向Vibe编程任务评估工具。
  3. 创建了一个专门的Vibe编程平台用于控制实验。
• 程序与关键技术:
  • 参与者（N=100）完成了CS成就（SCS1子集）、书面沟通（论文任务）和认知能力（ICAR16）的评估。
  • 在一个隐藏代码并专注于迭代自然语言提示的定制平台上完成了三个Vibe编程任务（复制、功能添加和去情境化任务）。
  • 使用预定义的评分标准对表现进行评分，统计分析包括相关性分析、回归分析和中介分析。

结果

• 具体发现:
  • CS成就（r = 0.39）和书写能力（r = 0.29）显著预测Vibe编程表现。
  • 在控制认知能力后，CS成就仍是显著预测因素，而书写能力的相关性不再显著。
  • CS成就解释了Vibe编程表现中两倍于书写能力的独特方差。
  • 词汇多样性和提示质量在书写能力与Vibe编程结果之间起中介作用。
• 相较基线的优势:
  • 证明了CS和书写能力均独立贡献于Vibe编程表现，其中CS成就影响更大。
  • 提供了提示质量将书写能力与任务成功联系起来的证据。
• 实验/评估:
  • 任务包括复制、功能添加和去情境化GUI导向应用。
  • 统计分析包括皮尔逊相关性分析、分层回归分析和中介分析。
  • 参与者的论文和提示通过专家设计的评分标准进行评分。
• 局限性与未来工作:
  • 研究聚焦于GUI导向的Vibe编程，结果可能无法推广到其他领域（如数据分析）。
  • 仅限于“无代码”Vibe编程工作流，未研究可访问代码的混合模式环境。
  • 样本仅限于大学生，限制了对专业开发者或普通程序员的推广性。
  • 未来研究应探索因果机制、更广泛的任务类型以及多样化的群体。

总结

本研究探讨了计算机科学成就和书面沟通能力如何预测GUI导向的Vibe编程熟练度，这是一种隐藏代码并通过自然语言提示进行编程的工作流。结果表明，两种技能均显著影响表现，其中CS成就的影响更大。书写能力通过提示质量影响结果，这一点通过中介分析得以证实。这些发现表明，CS教育和写作训练可以提升基于LLM的编程结果，并为工具和课程设计提供指导。未来研究应探索更广泛的任务类型、混合模式工作流以及多样化的群体，以推广这些见解。