使用实时编程验证AI生成的代码

文献标题

Validating AI-Generated Code with Live Programming

文献信息

• 主题领域: 人机交互、人工智能辅助编程、实时编程
• 关键词: Live Programming, AI Assistants, Code Validation, Program Synthesis, User Study

研究背景与问题

• 问题或挑战:

  • 随着AI代码生成工具（如GitHub Copilot）的普及，验证AI生成代码的正确性成为开发者面临的新任务。
  • 研究显示程序员在使用AI编程助手时，验证代码正确性是主要时间瓶颈，可能导致过度依赖或缺乏信任。
  • 当前编程环境未充分支持这一验证任务，尤其是在降低验证难度和减少认知负担方面。

• 重要性:

  • 代码验证直接影响AI生成工具的使用效率，以及开发者对这些工具的信任程度。
  • 过度依赖可能引入错误和安全漏洞，而缺乏信任可能导致工具被弃用，两者都会降低生产力。

• 研究动机与相关工作:

  • 当前验证策略存在高时间成本，限制了AI工具的应用效果。
  • 实时编程环境以视觉化方式显示程序运行中的实时值，或许能够降低验证成本。
  • 本研究旨在探索实时编程能否应对AI代码验证这一新需求，同时补充现有关于代码生成工具界面设计的研究。

解决方案

• 方法或解决方案:

  • 构建结合实时编程与AI代码生成功能的Python编程环境“Leap”，并设计实验研究实时编程对AI代码验证的影响。
  • 在实验中使用两个条件进行对比：有实时编程支持（LP）与无实时编程支持（No-LP）。

• 创新之处:

  • 首次探讨实时编程在AI代码验证领域的应用，尤其是其如何通过降低运行值验证成本来影响开发者行为和认知负担。
  • 实现结合实时编程与AI助手的实验性工具Leap，并为用户提供即时反馈和连续代码可视化支持。

• 实施步骤与关键技术:

  1. 开发Leap工具，结合AI代码助手和Projection Boxes实时编程环境。
  2. 组织17位参与者进行分组实验，通过固定式任务和开放式任务研究验证策略、认知负担和对AI建议的信赖程度。
  3. 进行量化与质化分析，包括实际代码是否正确、验证耗时、NASA-TLX认知负担调查等。

研究成果

• 具体成果:

  • 实时编程显著降低了验证代码运行值的成本，参与者更容易凭借执行结果验证代码正确性。
  • LP组较少发生过度依赖或缺乏信任的问题，验证策略更倾向于运行值验证而非简单代码阅读。
  • LP能显著降低认知负担，尤其是在API复杂且环境支持验证的情况下（例如Pandas任务）。

• 相对于现有解决方案的优势:

  • LP减少了手动打印调试信息的工作流中断，降低了验证时间和认知成本。
  • 提供连续可视化支持，帮助开发者快速发现代码错误并选择更优解决方案。
  • 首次展示LP能够支持开发者在多个AI建议中进行对比与选择，从而提升验证效率。

• 实验或评估结果:

  • 在固定式任务中，LP组在验证AI建议正确性方面更成功，未出现未完成验证的情况。
  • LP组体验更低的认知负担，尤其是“努力需求”与“挫败感”维度评分显著较低。
  • 在开放式任务中，实时反馈对复杂任务的调试和改进过程表现出重要帮助。

• 局限性与未来方向:

  • 当前LP对复杂程序和大规模输入支持有限，需要更强的工具集成和扩展能力。
  • 未来可探索AI和LP的深度结合，例如自动生成测试用例、预测用户关注的运行值、以及帮助调试与代码修复。
  • 进一步研究刚接触LP的用户如何适应实时编程以及长期使用对开发效率的提升效果。