人类如何用自然语言交流编程任务以及这对使用大语言模型的终端用户编程的启示

研究背景与问题

• 发现的问题或挑战: 本研究探讨如何使用自然语言描述信息处理任务（Information Processing Tasks，IPTs）并促进人与大型语言模型（LLMs）的沟通。它发现了理解和描述编程任务在语言和逻辑表达上的困难，尤其对于没有编程经验的用户更是如此。虽然最近的AI工具能将自然语言转化为代码，但有效沟通仍存在障碍。
• 重要性: 通过自然语言与AI进行互动，对非技术用户的编程任务表达有望解决传统编程语言的学习门槛。研究这类交互可为设计更高效、更友好的用户接口提供依据。
• 研究动机与相关工作: 研究动机源于通过LLMs解决实际编程问题的可能性，以及如何设计系统以改善用户与LLMs的交互。相关工作大多集中在AI辅助编程工具（如GitHub Copilot）及图形化用户接口的研究，但针对自然语言与编程任务的交互广度尚未被充分探索。

解决方案

• 提出的方法或解决方案: 作者通过两项用户实验分析了人与人的IPT沟通以及人与LLMs的沟通，重点研究了编程经验、举例说明、以及交互性等设计元素对传达复杂任务的影响。
  • 研究1: 对比人类用户之间以及人类与LLMs之间的沟通效果。
  • 研究2: 专注于用户直接与LLMs沟通时，可以如何优化任务表达。
• 创新之处:
  • 系统分析自然语言中描述编程任务的特征。
  • 比较程序员与非程序员在沟通任务时的表现差异。
  • 探究交互性和任务举例对沟通质量的影响。
  • 分析LLMs在直接回答问题与生成代码两种情况下的表现差异。
• 实施步骤与关键技术:
  • 用户实验分为发送者（描述任务）和接收者（理解任务）角色。
  • 在实验设计中分别研究是否展示示例以及是否允许用户交互对沟通的影响。
  • 测试LLMs能否直接根据自然语言描述回答问题或生成代码。
  • 使用线性回归分析变量（如编程经验、交互条件、任务复杂性）对沟通成效的作用。

研究成果

• 具体成果:
  • 编程经验对发送者的任务理解有所帮助，但对接收者的影响较小，非程序员也能有效描述和理解IPTs。
  • 提供示例能显著改善任务描述质量，但使用示例的用户比例不高，说明非技术用户可能难以生成有用的示例。
  • 交互性对改善任务沟通贡献不明显，尤其当发送者的描述本身不清晰时。
  • GPT-4在直接回答测试用例时比生成代码时表现更优，尤其当任务涉及更多复杂的逻辑和边界情况。
• 与现有解决方案相比的优势:
  • 提供了关于人与AI在自然语言任务沟通中的详尽实验数据，比起之前基于代码生成应用的研究更全面。
  • 研究了细分沟通元素（例如，每种互动或示例形式的具体影响），为设计面向非技术用户的人工智能编程工具提供了方向。
• 实验或评估结果:
  • 发送者任务理解程度与接收者表现存在显著相关。
  • GPT-4以及其他LLMs在直接回答问题时表现更强，但误解了用户意图的情况仍然较多。
  • 人类发送者在描述中经常遗漏定义，或者传递错误的信息处理逻辑，也成为LLMs失败的主要原因。
• 局限性与未来方向:
  • 局限性: 使用的IPT任务是否具有广泛代表性尚存在疑问；给定任务的真实使用场景可能与实验中的设计有差异。
  • 未来方向: 提高用户生成高质量任务描述的能力，例如通过提供“任务描述检查”工具；进一步优化LLMs猜测用户意图时的策略；探索LLMs是否可以提供功能性反馈而非冗余信息。

整体而言，本文通过系统实验揭示了自然语言描述编程任务的复杂性，并提出了重要的设计原则，如示例的必要性和互动的适度性，对于构建面向非技术用户的编程工具具有深远影响。