3DALL-E：将文本到图像AI集成到3D设计工作流程中

视频

文本到图像AI能够生成新颖图像以提供灵感，但其在3D设计工作流程中的应用以及设计师如何利用AI提供的灵感构建3D模型尚未被探索。为此，我们将DALL-E、GPT-3和CLIP集成到CAD软件中，开发了3DALL-E插件，可为3D设计生成2D图像灵感。3DALL-E允许用户基于其建模内容构建文本和图像提示。在对13位设计师的研究中，我们发现设计师认为3DALL-E在工作流程中具有很大潜力，可以使用文本到图像AI生成参考图像、防止设计定势并激发设计思考。我们详细阐述了跨3D建模任务观察到的提示模式，并提供了参与者提示复杂性的测量结果。根据我们的发现，我们讨论了3DALL-E如何与现有生成式设计工作流程融合，并提出了提示参考文献作为人机AI设计历史的一种形式。