Block and Detail：支撑草图到图像生成

视频

DOI

我们推出了一款符合艺术家迭代精炼过程的新型草图到图像工具。我们的工具让用户可以绘制遮挡笔触来粗略表示物体的放置和形态，并使用细节笔触来细化它们的形状和轮廓。我们开发了一种两遍算法，可在迭代过程中的任意时刻从此类草图生成高保真图像。在第一遍中，我们使用ControlNet生成严格遵循所有笔触（遮挡和细节）的图像；在第二遍中，我们通过重新噪化遮挡笔触周围区域来添加变化。我们还提出了一种数据集生成方案，当用它来训练ControlNet架构时，可以将不含笔触的区域解释为未指定区域而非空白空间。我们展示了这种部分草图感知的ControlNet可以从仅包含少量笔触的部分草图生成连贯的元素。我们用各种示例和评估比较展示了我们方法的有效性。定量而言，在82%的配对中，非专业观众更喜欢我们算法生成的图像质量，80%的配对中认为我们的图像失真更少。