通过场景设计研究生成式代码模型的可解释性

文献标题

Investigating Explainability of Generative AI for Code through Scenario-Based Design

文献信息

• 主题领域: 生成式人工智能的可解释性设计，具体应用场景为代码生成
• 关键词: 生成式AI, 代码生成工具, 可解释AI, 以人为本的AI, 场景设计

研究背景与问题

• 问题与挑战:

  • 生成式AI（Generative AI, GenAI）与传统的判别式机器学习模型不同，更注重生成工件（例如代码片段）而非决策，提出了独特的可解释性需求。
  • 领域中如GitHub CoPilot，TransCoder等生成式代码模型虽然展示了潜力，但用户如何理解和高效利用这些工具尚有许多未知。
  • 当前关于生成式模型的可解释性研究严重不足，大多集中在判别式模型上，忽略了用户实际的使用场景与需求。

• 重要性:

  • 生成式AI在代码自动补全、自然语言转代码、代码翻译等任务中迅速推进软件开发自动化。
  • 理解用户在使用生成式代码AI中的可解释性需求，将有助于开发更友好、更高效的工具，提高软件开发生产力并减少错误。

• 研究动机与相关工作:

  • 研究动机源于“以人为本的可解释AI”（Human-Centered Explainable AI），即理解用户在具体场景中的需求，并以需求驱动工具设计。
  • 现存的一些框架（如Liao等提出的XAI问题驱动方法）为调研用户需求提供了理论基础，但尚未在生成式AI的代码生成场景中深入探索。

解决方案

• 方法/解决方案:

  • 使用基于场景的设计（scenario-based design, SBD）方法，结合问题驱动的可解释AI设计，探讨用户在生成式代码AI场景中的可解释性需求。
  • 选取三个典型用例：代码翻译、自动补全以及自然语言转代码，并通过9个参与式研讨会收集43名软件工程师的反馈。
  • 提出了四大类XAI功能设计：AI文档辅助、模型不确定性指示、注意力分布可视化、社会透明性，并逐步完善对应的设计建议。

• 创新之处:

  • 提出了11类生成式AI的可解释性需求，其中包括代码生成特有的新需求（如输入范围、控制选项、系统限制等）。
  • 提供了具体建议来完善生成式代码模型的可解释性设计，包括文档化支持及社会透明性的阶段性视角。

• 实施步骤/关键技术:

  1. 设计具有实际案例的低保真原型，对参与者提供真实的生成式AI输出。
  2. 用问题驱动的设计收集用户的XAI需求，并使用“聚合-分类-投票”的方式整理需求。
  3. 在研讨会中探讨四大XAI功能设计，并记录用户对这些特性的反馈和改进建议。

研究成果

• 具体成果:

  • 确定了11类生成式AI的可解释性需求，这些需求超越了以往研究中的概念（例如数据、性能）并新增了针对代码生成所特有的需求（如系统要求、代码特性的控制方式）。
  • 提出了基于实际软件工程需求的AI文档编制指南，包括不限于性能指标、支持的语言和框架、培训数据来源等内容。
  • 验证了基于注意力分布的局部解释和不确定性指示显示在生成式代码AI中的潜在价值。

• 优势比较:

  • 与现有的以决策支持为主的XAI研究相比，此研究首次针对生成式AI在复杂输入输出空间中的需求展开了详细分析。
  • 提供了细化的功能建议（如在代码生命周期的不同阶段展示社会透明性）以更加全面地支持用户任务。

• 实验或评估结果:

  • 工程师们普遍认可AI不确定性指示与社会透明性的价值，但强调需增加更多交互。例如，显示AI生成代码的替代选项或不确定性来源。
  • 对文档支持的数据需求表明，未来需要专注通过范例教学和语境化的说明来弥补非技术用户的知识盲点。

• 局限性与未来方向:

  • 生成式AI模型仍存在高错误率的问题，用户需要通过大量后期审查和修订来降低错误风险。
  • 未来应进一步探索生成式AI在面向非技术背景用户的场景下的易用性，以及如何开发以交互为核心的解释方式。
  • 从动态的组织角度持续改进社会透明性设计，结合代码开发生命周期的不同环节。