DesignWeaver: 文本到图像产品设计的维度架构

研究背景与问题

• 问题或挑战: 作者发现了当前生成式AI在产品设计中的应用存在一个关键问题，即初学者缺乏行业的领域知识和设计语言。这会限制他们有效探索设计空间的能力。此外，初学者会在如何生成准确且有意义的文本提示方面遇到困难，导致生成图像与预期的结果不一致。
• 重要性: 随着生成式AI（如文本到图像生成模型）的发展，创意设计流程发生了深远的改变。这些工具能够快速生成视觉内容，但需要熟练的提示工程技术才能发挥其潜力。这对于希望利用AI的大量普通设计师和初学者来说是一个进入门槛。
• 研究动机与相关工作: 作者通过对12位经验丰富的设计师的访谈研究发现，视觉表征（如图像和样板）是设计师与非专业客户协作的重要媒介，这比文字描述更有效。这启发了作者开发一种方法，能够帮助初学者基于视觉反馈生成更精准的文本提示。相关工作涵盖生成式AI用于设计的探索，如提示工程改进、UI优化和多模态交互支持工具等，但仍缺乏对具体设计维度的结构化支持。

解决方案

• 方法或解决方案: 作者提出了一种名为“DesignWeaver”的AI驱动设计界面，采用了一种名为“维度支架”的创新策略，以帮助初学者理解设计语言并提升设计表达能力。
• 创新之处:
  • 提供一个“维度面板”，使用户能够在已有图像的基础上提取和添加设计维度，如几何结构、风格、颜色和材料。
  • 双向互动机制：用户生成的文本提示可以创建图像，而生成的图像又可以揭示相关设计维度。这种结构化方法帮助用户增强设计理解和迭代能力。
  • 高度集成的设计流程：用户可以通过拖放标签、自定义维度和动态修改提示来优化结果。
• 实施步骤和技术:
  1. 用户上传初始设计文档（例如客户需求和参考样板），系统通过GPT-4提取关键设计维度及其标签。
  2. 用户通过“维度面板”选择或修改标签，以生成更长、更详细的文本提示。
  3. 提示通过OpenAI的DALL-E 3 API生成图像，用户可以通过频繁的迭代优化提示。
  4. 使用由GPT-4o-mini支持的模型分析生成的图像并从中提取新设计维度，以更新维度面板。
  5. 用户通过滚动、比较和选择心仪设计图像完成设计流程。

研究成果

• 具体成果:
  • DesignWeaver显著提升了用户提示的长度和复杂性，使得生成的设计具有更广泛的设计语言覆盖。
  • 提高了生成图像的多样性和创新程度，参与者能够发现和使用新的设计维度。
  • 尽管用户的文本提示变得更加精确和详细，但实验表明当前的生成式AI模型在对复杂提示处理时仍有技术局限。
• 与现有解决方案的优势:
  • 与标准文本提示界面相比，DesignWeaver显著改善了初学者探索设计空间的能力。
  • 参与者生成的图像被专家评价为更具新颖性。
  • 该工具在支持初学者掌握设计语言和进行迭代优化方面更加显著。
• 实验或评估结果:
  • 通过对52名参与者的实验研究，使用DesignWeaver的用户生成的图像在设计的新颖性上获得专家更高的评分（平均4.09分），而基线组仅为3.54分。
  • CLIP模型用于评估生成图像的语义多样性；DesignWeaver组的图像比基线组更具语义差异性。
  • 参与者在DesignWeaver中使用了更多的独特设计术语来丰富提示，产生了较多新维度（如“耐用性”和“视觉吸引力”等）。
• 局限性与未来方向:
  • 现有生成式AI工具在解释复杂文本提示和生成精确图像时存在技术瓶颈，需要进一步优化。
  • 研究仅针对家具设计领域（餐椅设计），未来可扩展到更多设计领域如服装设计、建筑设计等。
  • 针对不同用户经验水平的工具定制化仍需更多研究，特别是如何在初学者和专业设计师的需求之间找到平衡。
  • 未来可以探索协作环境中的使用场景，使团队之间利用维度支撑协同设计流程，同时纳入动态调整和反馈机制。

这种结构化的研究方法与互动设计为生成式AI在产品创意设计中的应用提供了重要指导，也为进一步研究奠定了基础。