专业能力的新表现：软件工程师使用AI编码助手评估和展示编码专长

文献标题

Evolving Enactions of Expertise: Software Engineers’ Evaluation and Demonstration of Coding Expertise with AI Coding Assistants

出版信息

• 主题领域: AI编程助手对软件工程中编程专业能力的评估与展示的影响。
• 关键词: AI编程助手，编程专业能力，现场编程面试，软件工程，评估标准，生产力，专业能力的实践，任务理解，代码实现，AI与人类协作。

背景与问题

• 问题/挑战: AI编程助手的整合改变了软件工程工作流程，传统的专业能力展示和评估方式被改变或模糊化，这引发了如何展示和评估编程专业能力的问题。
• 重要性: 理解这些变化对于将招聘和培训实践与不断发展的行业规范对齐，以及确保对编程专业能力的公平和有效评估至关重要。
• 动机与相关研究: 先前的研究主要集中在AI编程助手的能力及其对生产力的影响，但对于它们如何重塑编程专业能力的展示和评估知之甚少。本研究基于将专业能力视为社会性和交互性构成的概念，探索其在AI工具影响下的演变。

解决方案

• 提出的方法: 本研究通过模拟现场编程面试调查软件工程师在AI辅助环境中如何展示和评估编程专业能力，面试中评估者使用AI工具对候选人进行评估。
• 创新点:
  1. 提供关于在AI助手辅助下如何展示和评估编程专业能力的实证见解。
  2. 引入“专业能力的实践”这一概念，捕捉AI辅助编程中不断演变的实践。
  3. 提出设计和组织建议，以适应AI驱动的编程专业能力变化的评估和培训需求。
• 流程与关键技术:
  • 进行了12场模拟现场编程面试，16名参与者分为评估者和候选人配对。
  • 评估者设计任务和评估标准，并根据AI工具的可用性进行调整。
  • 候选人在面试中使用各种AI工具，其交互和输出被分析。
  • 数据包括面试前后反思、现场编程会话录音以及交互的主题分析。

结果

• 具体发现:
  • 评估者使用了熟悉的标准（如任务理解、代码解释、错误处理），但在涉及AI工具时需要额外的证据。
  • 出现了新的专业能力实践，例如工具选择、提示技巧以及AI生成输出的使用。
  • 增量代码开发和错误处理等传统工作流程被弱化，减少了展示专业能力的机会。
  • AI工具引发了更高的生产力期望，这往往与传统的专业能力指标相冲突。
• 相较基线的优势: 本研究揭示了编程实践和评估标准的细微变化，这些变化未被传统的编程面试或以生产力为重点的研究所捕捉。
• 实验/评估:
  • 参与者包括16名具有不同经验水平和AI工具熟悉程度的软件工程师。
  • 任务涵盖后端开发、数据科学和AI集成，候选人使用了ChatGPT、Copilot和Perplexity等工具。
  • 评估指标包括任务完成情况、交互日志、评估者标准以及定性反思。
• 局限性与未来工作:
  • 评估者对候选人选择的AI工具的熟悉程度可能影响评估结果。
  • 任务设计和复杂性的差异可能影响研究发现。
  • 研究的现场编程格式未能完全捕捉真实软件工程中的协作和迭代特性。
  • 未来研究应探索纵向和团队工作流程，以及标准化任务。

总结

本研究探讨了AI编程助手如何重塑软件工程中编程专业能力的评估与展示。尽管评估者继续使用熟悉的标准，但由于新的专业能力实践（如工具选择和提示技巧）的出现，以及传统工作流程（如错误处理）的可见性降低，他们需要额外的证据。研究还发现，生产力期望的提高往往与专业能力指标不一致。这些发现表明需要开发工具和培训以支持候选人和评估者适应不断变化的编程实践。通过引入“专业能力的实践”这一概念，本研究为理解和适应AI驱动的编程环境中的这些变化提供了框架。