CoPrompt：支持协作自然语言编程中的提示共享和引用

文献标题

CoPrompt: Supporting Prompt Sharing and Referring in Collaborative Natural Language Programming

文献信息

• 主题领域: 人机交互 (HCI)、自然语言编程、协作编程
• 关键词: 大型语言模型, 协作编程, 提示工程, 自然语言编程, 用户界面设计

研究背景与问题

• 关键问题:

  1. 随着大型语言模型（LLM）驱动的代码生成能力的发展，自然语言编程逐渐成为一种重要的编程方式。然而，在协作编程环境下，程序员在提示工程（Prompt Engineering）中可能遇到重大挑战，例如难以判断协作者的工作进展、缺乏高效沟通方式，以及多次重复性更新提示代码。
  2. 程序员在协作编程过程中需要频繁切换上下文，了解协作者的意图，并确保提示指令与协作者工作的结果保持一致，这增加了工作认知负担。

• 研究意义: 本研究旨在解决协作自然语言编程中程序员在提示工程过程中的效率问题，探讨新的机制来支持协作提示工程，从而减少重复性更新、提高沟通效率，同时帮助程序员更好地理解并利用协作者的工作成果。

解决方案

提出的系统：CoPrompt

• 核心机制:

  1. 分享机制 (Sharing): 程序员可轻松分享中间结果，同时不打断协作者的工作流程。
  2. 链接机制 (Linking): 支持程序员关联具有交互依赖性的提示，自动更新相关代码片段以减少重复性修改。
  3. 引用机制 (Referring): 提供一种方法以引用协作者的提示内容，协助生成更准确的代码。
  4. 请求机制 (Requesting): 程序员可发起请求，让协作者完成任务并给予反馈，而无需实时沟通。

• 实施步骤:

  1. 开发一个 富文本编辑器，支持生成提示块和代码块。
  2. 建立一个树形结构的 任务和提示管理器（Prompt Wiki），帮助显示任务层级关系和跟踪协作进度。
  3. 实现包含 消息面板（Message Panel）、 历史视图（History View） 和 解释视图（Explanation View） 的用户界面。
  4. 集成大型语言模型（GPT-4 API），支持提示生成和自动代码更新。

• 创新点:

  • 支持协作提示工程所需的多种功能，从理解协作者的工作到高效利用和共享工作。
  • 提供实时同步和异步协作能力。
  • 减少通信成本和认知负担，促进协作效率。

研究成果

• 实验成果:

  1. 用户研究显示 CoPrompt 显著减少了协作编程中的重复性代码更新次数，与传统编辑器相比可节省完成任务所需的时间。
  2. 系统支持用户理解协作者的提示内容及进展，同时显著降低了认知负担，提高了工作效率。
  3. 在支持程序员利用协作者工作方面显现出明显优势，例如通过引用协作者的提示实现精确的代码生成。

• 优势:

  • 提供更加流畅的协作编程流程。
  • 系统可支持程序员同时进行分布式任务，无需等待协作者完成子任务。
  • 通过自动同步降低了重复性修改代码或提示内容的必要性。

• 局限性与未来方向:

  1. 当前系统设计和实验参与者大多针对具有 LLM 使用经验的程序员，研究未涵盖所有技术水平的用户。
  2. CoPrompt 更适用于数据科学领域任务，通用编程仍需进一步探索。
  3. 自动化程度高的设计可能会令部分用户感到对代码生成控制力不足，未来可进一步优化用户权限和自动化的平衡。

总结

本文通过对自然语言编程协作场景的研究，提出了一种创新的工具 CoPrompt，包括四种机制（分享、请求、引用、链接）及多个用户界面功能。实验结果表明 CoPrompt 显著提高了协作编程的效率，减少了程序员的认知负担，并促进了提示工程的协作流程。这些成果为未来协作编程工具的设计提供了重要参考。