超越代码生成：LLM支持的程序设计空间探索

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者观察到当前的基于大语言模型（LLM）的编程助手多集中于代码生成，通常仅解决特定问题。这种方法限制了编程设计空间的探索，尤其是在需要进行用户需求分析、问题重构以及从高层次设计目标入手的场景中。此外，代码生成过程中可能隐含许多决策，没有充分揭示这些决策会如何影响最终的设计目标。此外，信息过载是用户使用现有工具时的普遍问题，尤其是当系统生成大量潜在设计方案时，这会让用户难以集中注意力。

• 为什么这个问题很重要？
  程序设计不仅关乎代码实现，还涉及复杂的问题定义、高层次目标设定以及用户需求评估。仅关注特定代码生成的工具可能会限制创新能力，并且无法支持设计过程中的全局探索。解决该问题对于提升生成式 AI 在设计活动中的应用价值至关重要，同时有利于缓解用户的注意力分散问题。

• 研究动机与相关工作
  作者基于设计理论（如“双钻设计模型”），结合现有 AI 编程辅助工具的局限性，希望探索一种新方法，支持程序设计空间的扩展及设计流程的优化。此外，相关领域工作表明，在设计领域进行信息组织和问题探索有助于更好地支持基于 AI 的互动设计解决方案。

解决方案

• 作者提出了哪些方法或解决方案？
  作者提出了一款名为 "Pail" 的原型 IDE（集成开发环境），旨在通过 LLM 程序设计支持用户探索更广泛的设计空间。该工具不仅支持代码生成，还能通过生成备选问题定义和设计方案，帮助用户思考问题和设计目标的抽象层次。

• 该解决方案的创新之处是什么？

  1. 高层次抽象支持：Pail 鼓励用户超越特定问题，探索问题空间，并通过框架化的设计问题和目标来思考解决方案设计。
  2. 设计空间追踪与比较：Pail 提供对设计问题、已确认需求、隐含的决策及抽象概念的追踪与对比视图。
  3. 交互设计与可操作性：Pail 以交互方式提出设计替代方案，并允许用户快速尝试并回滚设计选项。
  4. 阻止信息过载的机制：通过提供易于扫描的摘要和替代选项列表，帮助用户更高效地探索设计空间。

• 实施步骤是什么？使用了哪些关键技术？

  1. 设计目标：根据用户需求总结了四个设计目标，包括支持替代设计方案生成、任务跟踪、抽象决策可视化等。
  2. 系统功能设计：Pail 内置三个主要代理（ConversationAgent、DesignAgent 和 ReflectionsAgent），分别负责用户交互、设计优化和反思生成。
  3. 界面布局：工具设计包括四个主要区域：代码面板、输出面板、对话面板，以及包含设计问题、需求确认、隐含决策和抽象的设计面板。
  4. 技术实施：Pail 基于 React 框架实现，并使用 GPT 模型支持对话和代码生成，同时引入差异更新机制以减少无关代码生成。

研究成果

• 取得了哪些具体成果？
  通过用户研究发现，Pail 让用户能够快速进入程序设计空间的探索，考虑潜在用户需求和高层次设计目标。工具帮助用户在双钻设计模型的上下钻探中自由切换。同时，用户对设计面板的总结与追踪功能表示满意，认为其减轻了在复杂设计任务中的信息负担。在实际使用中，实验参与者均找到了至少一个未曾考虑过的替代设计方案。

• 与现有解决方案相比，它有哪些优势？
  Pail较传统代码生成工具有以下主要优势：

  • 支持更高层次的抽象思维，不局限于代码级的解决方案。
  • 提供设计支持，包括生成问题定义和替代设计方案，有助于鼓励用户思考不同的设计可能性。
  • 通过更高效的信息展示机制，缓解了当前 LLM 工具中的信息过载问题。

• 实验或评估结果是什么？
  用户实验表明，Pail 在鼓励用户快速迭代和更广泛地探索设计方案上表现良好。参与者对工具提供的总结功能和隐含决策可视化功能表示赞赏，但也反映了信息量过多导致的注意力分散问题。此外，实验揭示设计过程因 LLM 的信息生成能力而变得压缩化，提出了未来如何更好管理用户注意力和数据展示的研究课题。

• 局限性与未来方向
  局限性：

  • 当前工具不适用于复杂程序设计，因依赖 LLM 的能力，该能力可能受限于模型本身的背景知识。
  • 限于设计过程对参与者设计素养的较高要求，工具对于非设计领域用户的适应性尚需优化。

  未来方向：

  • 探讨如何设计工具以合理管理用户的注意力负担，平衡信息生成与信息有效呈现之间的关系。
  • 扩展工具适用性，使其涵盖更多程序设计任务，以及不断推进其他信息收敛与选择机制的开发。
  • 探索支持跨抽象层次工作的设计方法，帮助用户在多层次问题空间中更流畅地迁移和操作。