PlanTogether：使用信息图和大型语言模型促进AI应用程序规划

研究背景与问题

• 作者发现了哪些问题或挑战？ 客户在与AI专家合作开发AI应用的计划阶段中，通常需要提前制定初步的计划（被称为“预合作计划”）。然而，由于缺乏关于AI术语和能力的知识，以及对AI专家信息需求的理解不足，客户难以将需求和期待转化为具体可行的计划。这导致多个迭代步骤、额外的时间消耗以及双方的挫败感。

• 为什么这个问题很重要？ 高质量的预合作计划是成功合作的基础。它不仅为后续讨论提供了深度，而且能减少开发过程中对需求和技术可行性进行多次调整的必要性，有潜力显著提高效率并减少误解。

• 研究动机与相关工作 当前的工具（如AINeedsPlanner和People+AI Workbook）提供了静态的指南，但无法灵活覆盖广泛的AI应用情境，也不能动态提供客户所需的指导。此外，这些工具未能充分利用信息依赖关系去有效组织和提升客户的计划质量。

解决方案

• 作者提出了哪些方法或解决方案？ 作者开发了一个名为PlanTogether的系统，该系统利用信息图和大语言模型（LLMs）来支持客户制定预合作计划。PlanTogether不仅能够动态生成指导，还可以通过一系列图界面和个性化建议帮助客户逐步完善计划。

• 该解决方案的创新之处是什么？

  1. **规划信息图（Planning Information Graph）：**图中的节点表示计划信息，边表示信息之间的依赖关系。通过此图，系统优先提出与当前问题相关的问题。
  2. **动态建议生成：**运用LLM结合图结构，系统实时生成个性化的提示和建议，并针对每个问题提供上下文指导。
  3. **整体计划概览：**系统生成进度总览及结构化的计划视图，帮助客户实时把握计划全貌和填充状态。
  4. **导航功能：**允许用户在相关问题间灵活跳转，基于图结构扩展案例。

• 实施步骤是什么？使用了哪些关键技术？

  1. 图结构搭建：
     • 将计划信息拆解为节点，定义互相依赖的关系。
     • 对每个问题预设类型（核心问题或补充问题）。
  2. 问题依赖处理：
     • 通过图遍历算法（基于深度优先搜索），动态调整问题顺序，先处理依赖问题。
  3. 动态提示生成：
     • 提供基于先前问题答案的上下文提示和多样化建议，利用LLMs生成这些内容。
  4. 实验验证和用户研究：进行用户和专家评估，比较PlanTogether与静态基线工具的效果。

研究成果

• 取得了哪些具体成果？ 通过用户研究发现，PlanTogether显著提升了预合作计划的质量，包括：

  1. **计划的可执行性：**计划更加具体且便于实施，减少了专家讨论中需要的迭代次数。
  2. **反映客户领域知识：**文档中更好地体现了客户的领域专长，有助于增强沟通效果。
  3. **客户体验提升：**研究参与者认为，提示和建议、导航功能，以及概览对整体流程非常有帮助。

• 与现有解决方案相比，它有哪些优势？

  1. 动态生成的个性化支持具备情境适应性，能灵活回应客户提供的信息。
  2. 图为基础的导航和平滑信息流设计解决了现有工具无法有效链接复杂任务的局限。
  3. 全面的计划概览功能帮助客户跟踪创造过程的整体进度。

• 实验或评估结果是什么？ 用户研究和专家评估均显示，PlanTogether生成的计划质量评分显著高于基线工具（中位评分分别为4对比3，满分5）。专家指出其生成的文档在可执行性和领域知识反映方面表现尤佳。而在客户端，用户频繁利用个性化建议和导航功能提升独立思考效率。

• 局限性与未来方向

  1. 需要处理用户首次使用可能过度依赖模型生成内容的问题，建议未来改进早期用户提示生成的策略。
  2. LLM对客户领域高定制化支持需求需要进一步探索，例如允许用户结合领域专属数据微调模型。
  3. 实际部署仍需更多研究，包括客户与不同种类AI专家的真实合作与法律环境适配。
  4. 引入质量反馈和动态优化机制，以帮助自动检测和修复文档中的潜在问题。

通过这些研究，PlanTogether展现了通过技术手段提升AI应用开发计划阶段效率的潜力，并为未来研究打开了新方向。