AI Chains：通过链接大型语言模型提示实现透明且可控的人机交互

文献标题

AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts

文献信息

• 主题领域: 人机交互，人工智能，及大语言模型应用
• 关键词: 人机交互, 大语言模型, 自然语言处理, 透明性, 可控性, 人工智能任务分解, 层级交互

研究背景与问题

• 发现的问题或挑战:

  • 当前大语言模型（LLMs）单次运行虽然在简单任务上表现出色，但在复杂、多步骤任务中常显得力不从心。
  • LLM输出的透明性和可控性不足，导致用户难以理解和调试它的行为。
  • 在交互时，用户很难有效修改提示词以避免不符合预期的输出。
  • 针对需要多方面能力协作的任务，LLMs难以综合各个部分以生成完整的解决方案。

• 重要性:

  • 随着LLMs在实际应用中的普及，它们的性能、透明性和协作性问题会显著影响用户对人工智能的信任及体验。
  • 改进这些方面，有助于提升LLMs在复杂、人机协同任务中的实际潜力。

• 研究动机与相关工作:

  • 作者参考了多项之前针对LLMs的“提示工程”、“多轮生成”、“元提示”等研究，但这些方法未充分解决如何让用户实时控制任务中的模型表现的问题。
  • 工作还借鉴了人群外包中的任务分解方法和模块化实践，这表明复杂工作可通过分解任务提高有效性。

解决方案

• 提出的解决方案:

  • 提出一种“Chaining”概念，将复杂任务分解成可独立运行的小任务，每一步由一个单独的LLM操作完成。
  • 开发一个交互式系统，不仅可以运行这些链式任务，还允许用户模块化地修改这些任务链及其中间输出。

• 创新之处:

  • 将LLM调用分解为多个步骤，每步骤通过自然语言提示引导模型完成一个小而明确的子任务。
  • 开发“原生操作”（LLM Primitive Operations），作为构建任务链的基础组件，使任务可分解为标准化的单步函数。
  • 提供交互式界面，在可视化任务链中允许用户进行分步修改、中间结果编辑以及链路重新设计。

• 实施步骤和技术:

  1. 任务链结构设计：将复杂任务拆分成一系列小步骤，例如：任务分解、生成建议、结果合成。
  2. 原生操作的定义：定义如分类、信息提取、改写、分解点识别、生成等八种基本操作。
  3. 交互界面：
     • 任务链视图：以流程图形式展示任务链的高层次结构，包括每个步骤及其关联的数据层。
     • 步骤视图：深入显示每一步操作的输入、输出及背后提示，使用户可以操控模型行为。
  4. 用户控制功能：用户可对局部或全局的模型操作进行修改，或添加新的任务步骤。

研究成果

• 具体成果:

  • 用户研究：
    • 对比实验表明，相较于传统单次模型调用的界面，使用任务链的用户不仅感受到更高的透明性、可控性，还更能实现高质量任务结果。
    • 在一次用户研究中，参与者在82%的情况下表示使用任务链时完成的任务质量更高。
  • 案例分析：
    • 在代码调试中，任务链分步解析JSON格式的规格说明、验证设计限制并生成修正方案，解决了LLM解析复杂输入的困难。
    • 在辅助文本输入中，任务链能够通过分步逻辑调解多义缩写的扩展与自动补全。

• 与现有方法相比的优势:

  • 通过任务分解避免了模型在单次调用时的不稳定性与累积错误。
  • 模块化设计增加了用户对模型的掌控感，也降低了出错后推理与调试的难度。
  • 系统不需对底层模型进行任何更改，即可通过交互改进生成质量。

• 实验或评价结果:

  • 相较于基线界面（Sandbox），任务链显著提高了用户满意度，并改善了模型透明性和可控性。
  • 用户不仅更倾向于编辑模型的中间结果，也更愿意对任务链结构进行定制以优化任务完成方式。

• 局限性与未来方向:

  • 当前的任务链设计仍存在学习曲线问题，初学者需要更多辅助工具以创建符合直觉的任务链。
  • 在处理复杂但高度交织的任务时，链式设计可能引发数据压缩或割裂问题，未来研究需探索更智能的分解方式。
  • 需要进一步探索如何在交互中平衡结构化指导和自由探索，使用户既能遵循任务目标，又能灵活创新。