ChainBuddy：一种用于生成LLM管道的人工智能辅助代理系统

研究背景与问题

• 发现的问题: 随着大语言模型（LLMs）的快速发展，用户在设定复杂的评估任务或构建LLM流程时经常遇到困难，比如“空白页问题”（不知道从何开始）。
• 重要性: 设计和开发LLM管道对于研究其性能和行为，以及开发高效应用至关重要。然而，目前的工具大多需要用户具备较高的技术能力，限制了LLM技术的广泛使用。
• 研究动机与相关工作: 现有解决方案包括一些特定功能的工具（如LangGraph、EvalLM、Flowise等），以及面向自动化分析（如AutoML）和用户需求收集的交互模型。然而，这些工具要么专注于单一的LLM操作（如提示工程），要么难以支持复杂的自动化任务。本文的目标是通过设计一个全新的AI助手工具ChainBuddy，帮助用户高效开始并维护LLM管道创建和评估的任务。

解决方案

• 提出的方法: ChainBuddy是一个内置于ChainForge平台的AI助手，通过自然语言与用户交互，自动生成适合特定需求的LLM管道。它包括一个交互式需求收集系统和多代理架构以支持工作流生成。
• 创新之处:
  • 通过分层架构生成复杂工作流，将任务分解为输入层、中间处理层和评估层，便于管理和扩展。
  • 集成了多代理系统，每个代理负责不同任务（如数据生成、提示创建和评估）。
  • 支持用户通过简洁的对话界面描述需求，避免用户直接编写复杂的代码。
• 实施步骤:
  1. 用户通过聊天窗口输入需求。
  2. 系统通过主动提问与用户交互，明确需求。
  3. 多代理系统包括：
     • 规划代理（Planner Agent）：根据需求分层规划和解构工作流。
     • 任务代理：细化具体的节点（如输入生成、提示处理、模型评估）。
     • 连接代理和布局代理：负责节点之间的连接与位置布置。
  4. 系统生成的工作流自动展示，用户可进一步编辑和完善。
• 关键技术: 构建在LangGraph上的多代理架构，结合轻量级的强化学习思想和任务分解策略。

研究成果

• 具体成果:
  • ChainBuddy显著简化了从“零”开始设计LLM管道的难度，为用户提供了可编辑的初始工作流。
  • 在实验中，ChainBuddy生成的工作流质量评分平均达4.09（满分5），大部分问题可以通过小改动修复。
• 与现有解决方案的比较:
  • 与类似LLM工具（如Flowise）相比，ChainBuddy更注重用户体验，能主动引导用户明确需求。
  • 相较于完全手动设计流程的基线系统，ChainBuddy显著减少用户工作量，尤其是在创建评估节点和链式结构方面。
• 实验和评估结果:
  • 用户实验表明：参与者在使用ChainBuddy时感受到更少的心理和体力负担（NASA TLX评分），并对完成的任务表现出更高的满意度和信心。
  • 相较于基线系统，用户在有ChainBuddy帮助下的流程设计显著优于没有帮助的情况下。独立专家评分显示，使用ChainBuddy生成的评估工作流评分更高。
  • 但在用户主观评分中，用户自成体系的成功感知与客观评分并不完全一致（Dunning-Kruger效应）。
• 局限性与未来方向:
  • 局限性:
    • 目前系统还不支持对现有工作流的编辑，用户只能从头开始。
    • 用户可能表现出对AI助手生成结果的过度信赖，且对于任务的不同可能会有所局限。
    • 实验仅涉及有限的任务类型和小样本量，未完全覆盖所有可能的用户需求和场景。
  • 未来方向:
    1. 支持用户上传外部数据并与系统协同使用。
    2. 提升系统在“数据导入”和“现有流程编辑”等场景中的界面表现。
    3. 提供多样化的工作流模板，同时减少对于默认解决方案的过度依赖。
    4. 探索更好的需求收集交互设计，减少过多的问答环节对用户时间的占用。
    5. 设计算法帮助用户比较多个生成的解决方案，提高评估的透明性，并鼓励用户独立决策。

通过本研究，ChainBuddy展示了AI支持的LLM管道创建的潜力，为实现自动化、用户友好和高效的LLM操作提供了新的范式。