利用涂鸦和注释增强生成式人工智能图像细化：多模态提示的比较研究

生成式人工智能（GenAI）图像工具在设计实践中越来越多地被使用，能够实现快速构思，但在调整布局、比例或视觉属性等细化任务中提供的支持有限。虽然文本提示和图像修复允许局部编辑，但对于精确、情境内和迭代的细化来说，它们往往仍然效率低下或含糊不清——这促使我们探索替代方法。这项工作研究了基于笔的涂鸦和注释如何增强GenAI图像细化。与七名专业设计师进行的形成性研究 informing 了一个支持三种输入模态的原型：纯文本、纯视觉和组合提示。一项由30名设计师和设计学生参与的被试内研究比较了这些模态在封闭和开放任务中的表现，评估了表达性、效率、工作量、用户体验、迭代和多模态策略。视觉提示提高了空间编辑的清晰度和速度，同时减少了工作量，而文本在语义和全局更改方面仍然有效。组合模态获得整体最高评分，实现了互补使用，平衡了空间精度与语义细节，并支持更顺畅的迭代。任务特定偏好也出现了：添加新对象通常需要两种模态，而移动或修改元素通常通过视觉输入处理。这项工作贡献了（1）GenAI细化多模态提示的经验比较，（2）集成涂鸦和注释的原型，以及（3）关于设计师多模态策略的见解，以 informs 未来更好支持GenAI支持的设计工作流中细化的GenAI界面。