使用提示进行原型设计：协作软件团队在生成式AI设计中的新兴方法和挑战

研究背景与问题

• 发现的问题或挑战： 论文从传统AI设计转向生成式AI应用设计，强调了生成式模型的不可预测性和与用户交互的复杂性。多角色团队需要在限制条件下使用预训练模型进行快速迭代，但现有工具和流程无法有效支持生成式AI的设计和原型开发。

• 问题重要性： 生成式AI正在广泛融入各类任务工作流，如内容创作、交互设计等。生成式能力的设计需要深刻理解团队如何建立设计准则、迭代开发提示以及评价结果。这将影响AI产品的效率、安全性及用户体验。

• 研究动机与相关工作： 传统任务特定的AI模型设计遵循明确的规范，而生成式AI赋予了更大的自由度，但同时要求对模型的行为和交互机制进行新的探讨。论文结合相关研究，如AI经验原型开发和设计团队协作，探讨生成式AI设计的独特需求和困难。

解决方案

• 方法或解决方案：

  • 作者通过与39位行业专业人员（包括UX设计师、产品经理和AI工程师）的合作设计研究，探索了生成式AI原型开发的团队动态和策略。
  • 提出了基于内容的原型开发过程（Content-centric Prototyping），强调生成内容的特征在快速迭代中的核心作用。

• 创新之处：

  • 研究深入探讨了团队如何在生成式AI设计中采用提示工程（Prompt Engineering）方法。
  • 展示了团队在设计阶段如何利用模糊内容和生成模型进行需求挖掘与验证。
  • 提出了提示原型设计的“结构化方法”，包括提示上下文、系统指令、输出约束和少样例（Few-shot）示例。

• 实施步骤和关键技术：

  1. 基于设计目标，通过团队协作开展设计讨论，明确成功指标。
  2. 使用AI Studio等工具进行提示工程的迭代设计，包括探索不同的抽象层级和输出控制。
  3. 整合现有高质量示例内容（Gold Examples）和少样例技术，优化提示效果。
  4. 结合用户界面设计和模型行为，验证原型的交互和输出质量。
  5. 通过调整生成参数（如温度随机性）、编写警示指令测试模型对敏感内容的反应。

研究成果

• 具体成果：

  • 发现了生成式AI原型开发中的内容驱动策略，提出了从示例内容到少样例提示的有效机制。
  • 揭示了团队合作中角色间共享与边界模糊的动态，包括设计师和工程师如何共同迭代生成式AI提示。
  • 提出了Prompt原型设计的四个核心组件：输入上下文、系统指令、输出约束以及少样例示例。

• 与现有解决方案的优势：

  • 高效支持多角色团队协作，并为提示工程带来了新的结构化框架。
  • 通过提示迭代将设计与生成式模型行为紧密结合，显著提升设计与用户的匹配度。
  • 鼓励多角色团队通过共同设计表征（如提示）的方式协作。

• 实验或评估结果：

  • 团队采用实验提示设计展示了动态迭代如何提升生成内容质量。
  • 在不同抽象层级上测试模型行为，探索了提示敏感性及其对生成输出的影响。
  • 通过案例分析报告了生成内容的潜在风险（如刻板印象或输出的过拟合）。

• 局限性与未来方向：

  • 局限性包括未充分代表真实场景中的团队动态，且未纳入领域专家参与设计研究。
  • 未完全解决生成模型的透明性问题，输出行为的预测性仍需改进。
  • 未来研究可探索改进工具支持以处理更复杂的任务需求，例如引入用户研究者以扩大设计过程的覆盖范围。

总结：论文通过深入分析生成式AI的设计挑战，提出了一种新的基于内容反馈的提示工程原型设计方法。它为如何更好地利用团队角色和生成式模型能够提供的灵活性，提供了理论和实践指导。这一研究将有助于提升生成式AI在实际应用中的设计效能。