携手更好？AI辅助代码翻译评估研究

文献标题

Better Together? An Evaluation of AI-Supported Code Translation

文献信息

• 主题领域: 人机协同、代码翻译、生成式 AI 系统的设计与应用
• 关键词: 代码翻译, 人机协同创造, 生成式 AI, 不完美 AI, 软件工程

研究背景与问题

• 发现的问题:

  1. 最先进的生成式 AI 模型（如 TransCoder 和 Codex）在代码生成和翻译任务中存在错误或不完整的输出，正确率在 30%-70% 不等。
  2. 软件工程师是否能够通过与不完美的生成式 AI 模型合作提高生产力尚未被充分探索。

• 研究的重要性: 借助生成式 AI 改善代码质量和工程效率有着巨大的潜力。然而，这需要明确如何设计人机交互以最大化协同效果。同时，理解生成式 AI 在有缺陷输出下的学习与工作过程对未来更好地设计 AI 支持界面具有理论与实际意义。

• 研究动机与相关工作:

  1. 尽管生成式 AI 在代码翻译和补全方面的功能取得了一定成功，但关于这些工具是否对软件工程师的效率与结果有实际提升，研究并不充分。
  2. 本研究通过实验证明生成式 AI 在代码翻译任务中的可用性与效率提升，并对其副作用及用户体验展开分析。

解决方案

• 提出的方法: 作者设计了一项对比实验，研究软件工程师是否能通过生成式 AI 模型的支持在 Java 到 Python 代码翻译任务中实现更高效的输出。

• 创新之处:

  1. 考察了生成式 AI 输出的数量和质量对协同性能的影响，明确了多个翻译选项是否有助于用户决策。
  2. 在限制时间条件下，验证 AI 翻译是否能从代码“生产任务”转变为“代码审查任务”。

• 实施步骤与关键技术:

  1. 使用 TransCoder 模型生成 Java 到 Python 的数据结构（Trie 和 Priority Queue）的代码翻译，分别设置“较差”与“较好”输出质量。
  2. 32 位专业软件工程师参与实验，通过随机配对完成两种条件下的任务（无 AI 支持 vs 有 AI 支持）。
  3. 对输出代码进行质量评估，量化错误率、正确率，以及超过 1700 项编程错误的分类分析（如翻译错误、语言错误、文档遗漏等）。

研究成果

• 具体成果:

  1. 翻译性能提升:
     • 带有 AI 支持的代码错误率显著减少（从 63% 降至 31%）。
     • 正确翻译的函数比例从 34.1% 提升至 50.9%。
  2. 用户行为与习惯:
     • 用户将任务从代码“生产”转变为代码“审查”，减少了机械式编程的工作量。
     • 超过半数用户表示 AI 翻译帮助节省时间，并且有助于学习新的编程模式。
  3. 翻译选项影响:
     • 提供 5 个翻译版本（相比提供 1 个版本）会增加工作负载与用户的认知压力。
     • “质量更好”的翻译版本对错误减少有直接帮助。

• 与现有研究的比较: 本研究进一步支持了人机协作在复杂任务中可能产生的优势，并挑战了认为“AI 必须完美才有用”的观点。

• 实验局限性与未来方向:

  1. 本研究主要关注“代码翻译”任务，未来可扩展至如代码生成、文档生成等更多软件工程场景。
  2. 交互设计方向: 开发更智能的用户界面，例如：
     • 高亮显示多个翻译的差异。
     • 实现类似“代码教练”或“智能审查助手”的功能。
  3. XAI（可解释性 AI）结合: 为生成式 AI 输出赋予解释性功能，帮助开发者更直观地理解和校验机器输出。

附加讨论

• 社会影响:
  • 积极：代码生成 AI 工具有助于降低职业编程的门槛，实现软件工程的民主化。
  • 消极：过度自动化可能替代人工劳动力，需通过设计人机协同系统以减轻风险。