文本到图像生成的自适应提示引导

将文本到图像生成与用户意图对齐仍具有挑战性，因为用户经常提供模糊输入并难以掌握模型特性。我们提出自适应提示引导（APE），一种自适应提出视觉查询以帮助用户优化提示词而无需大量写作的技术。我们的技术贡献是在信息论框架下对交互式意图推理的公式化。APE使用语言模型先验将潜在用户意图表示为可解释的特征需求，自适应生成视觉查询，并将引出的需求编译成有效提示词。在IDEA-Bench和DesignBench上的评估表明，APE以更高效率实现了更强的对齐。128名参与者在用户定义任务上的用户研究表明，感知对齐度提高19.8%而工作量未增加。我们的工作贡献了一种原则性的提示编写方法，为与文本到图像模型 prevailing 的基于提示的交互范式提供了有效且高效的补充。