DirectGPT：与大型语言模型进行交互的直接操作界面

文献标题

DirectGPT: A Direct Manipulation Interface to Interact with Large Language Models

文献信息

• 主题领域: 人机交互、人工智能与大语言模型的界面设计
• 关键词: 大语言模型, 用户界面, 直接操作, 提示工程, 编辑任务, 图形用户界面, 用户研究, 工具集成, 人机协作, 操作可逆性

研究背景与问题

• 发现的问题或挑战: 当前的交互界面对大语言模型（LLM）主要采用基于文本对话的提示方式，这导致了一些问题：

  1. 意图表达困难: 使用自然语言描述目标时，容易出现语言模糊性，尤其在处理结构化信息、图像等任务时。
  2. 对话生成效果不可预测: LLM对微小的提示变化可能产生不同甚至意外的结果。
  3. 试错成本高: 用户需要耗费大量时间调整提示以获得满意结果。
  4. 提示难以复用: 通过提示完成任务后，结果很难适用于其他目标。
  5. 历史操作缺乏可逆性: 传统对话式界面难以支持如撤销和重做的交互。

• 重要性: LLM正在广泛应用，但上述问题阻碍了其与用户的有效互动，也限制了其在复杂任务中的潜力。通过改善交互方式，可以提高用户效率和生成内容的质量。

• 研究动机与相关工作:

  • 大量工作探索了提升提示工程和互动体验的工具，但通常局限于单一任务，未能覆盖LLM广泛应用场景。
  • 本研究借鉴人机交互中“直接操作界面”原则，尝试将其应用于LLM交互界面以解决上述问题。

解决方案

• 方法或解决方案: 提出一种直接操作界面——DirectGPT，通过结合物理操作和提示工程，将用户操作转化为生成的提示，并改善生成的内容可控性及交互效率。

  • 核心原则包括：
    1. 连续表示: 持续展示生成的对象以支持直接交互。
    2. 物理动作: 用户通过选择、拖放等操作来表示提示中的对象。
    3. 快速操作: 已执行的提示会转化为工具以供后续复用。
    4. 即时反馈: 通过视觉提示明确目标对象及其修改效果。
    5. 可逆操作: 提供撤销与重做按钮来支持操作的灵活性。

• 创新之处:

  1. 改进提示工程，通过空间选择和对象引用简化输入语言。
  2. 将提示复用为工具，降低重复操作的复杂性。
  3. 使用直接操作简化语言描述，提高结果的预测性和可控性。

• 实施步骤与关键技术:

  1. 开发基于ReactJS和OpenAI API的DirectGPT原型系统。
  2. 实现支持文本、代码和SVG图像编辑的直接操作功能。
  3. 调整LLM的内部提示以适应用户直接操作生成的对象，例如文本中使用唯一标记符号或图像中的对象ID。

研究成果

• 具体成果:

  • DirectGPT通过用户直接交互生成提示，在编辑任务中表现优异。
  • 用户研究表明，使用DirectGPT完成任务比ChatGPT快50%，使用的提示减少50%，提示字数缩短72%。
  • 在系统可用性评分（SUS）中，DirectGPT得分显著高于ChatGPT（92 vs. 53）。

• 优势:

  • 明确对象选择降低提示语言的模糊性。
  • 效果反馈增强用户对修改目标和范围的控制。
  • 操作可逆性提升试错效率和错误恢复能力。

• 实验或评估结果:

  • 用户在任务完成时间、提示数量及语言简洁性方面表现显著优于ChatGPT。
  • 主观问卷结果显示DirectGPT在对象选择、控制内容输出以及操作清晰度等维度优于ChatGPT。

• 局限性与未来方向:

  1. 局限性:

     • DirectGPT基于当前LLM性能，其效果可能受特定模型的局限性影响。
     • 研究参与者均为熟悉编程和LLM的技术用户，结果可能不适用于非技术用户。
     • 直接操作对探索性任务或全局修改可能作用有限。

  2. 未来研究方向:

     • 测试直接操作界面对学习和探索任务的影响。
     • 集成演示型界面（示例操作生成工具）和其他用户界面交互模式。
     • 扩展DirectGPT到数据处理、网站设计和图形用户界面构建。
     • 探索将DirectGPT设计用于其他生成模型，如图像生成、音乐创作等领域。

结论

DirectGPT通过直接操作原则改善了与LLM的互动体验。其创新设计可以帮助用户更高效地表达意图、控制生成内容，并在传统软件中提供无缝集成的可能性。该研究为设计与LLM互动界面的工作提供了重要的理论与实践支持，并展示了直观用户界面在协作式人工智能中的潜力。