完美并非必需？代码翻译中的人机协作

文献标题

Perfection Not Required? Human-AI Partnerships in Code Translation

文献信息

• 主题领域: 人机协作与生成式人工智能在应用现代化中的使用
• 关键词: 神经机器翻译 (NMT), 生成式人工智能, 不完美的 AI, 编码翻译, 应用现代化, 人机协作

研究背景与问题

• 发现的问题或挑战:
  • 软件工程领域最近尝试使用生成式NMT模型完成编程语言间的代码翻译。然而，所生成的代码可能包含编译错误或逻辑错误。
  • 对于软件工程师来说，是否可以接受具有缺陷的AI输出，以及如何帮助检测和纠正这些错误，仍然存在疑问。
• 重要性:
  • 许多组织在迁移传统系统到现代平台（如云计算）时面临技术资源不足的难题，生成式AI模型可以帮助解决这一问题。
  • 代码翻译的可靠性和可接受性直接影响现代化迁移项目的生产效率和质量。
• 研究动机与相关工作:
  • 调查了软件工程中生成式AI的潜力及其在代码翻译任务中的互动设计。
  • 与现有工作相关：利用生成式AI执行代码修复、API推荐和代码类型推断的研究。

解决方案

• 提出的解决方案:
  • 使用场景设计方法，与11名软件工程师进行访谈，探讨在应用现代化背景下接受NMT模型生成的代码的方法。
  • 设计了三种多阶段的用户界面变体，展示如何利用AI翻译代码，支持用户检测低置信度的代码部分，并提供替代翻译建议。
• 创新之处:
  • UI功能（如置信度标记和替代翻译）将生成式模型的输出与用户需求结合，帮助工程师理解和改进AI生成的代码。
  • 将生成式AI视为协作伙伴而非工具，突出人机协作的模式。
• 实施步骤与关键技术:
  • 采用TransCoder模型生成代码翻译。
  • 开发部分功能性原型，通过三种用户界面变体帮助用户探索如何有效利用NMT模型。
  • 通过访谈收集工程师对AI翻译代码的反馈和建议。

研究成果

• 具体成果:

  1. 软件工程师对AI生成的代码质量表示担忧，但认为通过良好的开发实践（如代码审查和单元测试）可以接受这些代码。
  2. 置信度标记和替代翻译帮助工程师更好地理解模型，并发现翻译中的错误。
  3. 强调了改进人机合作模式的重要性，人与AI系统可以在应用现代化中扮演互补角色。
  4. 提出了未来研究方向，包括进一步优化生成式AI与用户的交互界面设计。

• 与现有解决方案相比的优势:

  • 提供了独特的用户界面设计，将AI置信度、替代翻译与人机协作任务相结合，有效补充工程师已有的工作流程和验证机制。
  • 实现了生成式AI在具有客观质量要求的场景中的应用，凸显了其在现实问题中的实用价值。

• 实验或评估结果:

  • 三种用户界面变体广泛被接受，能够准确引导工程师完成代码审查任务。
  • 错误代码输出仍然有助于提高任务效率，前提是错误易于检测和修复。

• 局限性与未来方向:

  • 局限性：研究仅针对代码翻译任务，尚未推广到其他领域或生成式AI场景。
  • 未来方向：设计更加多样的交互模式，如AI实时辅助代码编写；增强生成文档和架构理解的能力；探索反馈机制对模型训练的影响。

总结与启示

通过调查软件工程师对AI翻译代码的接受度，该研究发现生成式AI在应用现代化任务中具有实用性，即使生成的代码存在缺陷。研究还展示了如何设计智能用户界面帮助工程师简化代码审查过程，增强人机互动效果。这项工作的启示对未来生成式AI技术在其他领域的应用具有重要参考价值。