跨图形设计类型的视觉重要性预测

视频

DOI

本文介绍了视觉重要性和显著性统一模型(UMSI)，该模型学习预测输入图形设计中的视觉重要性和自然图像中的显著性，并提供新的数据集和应用。先前预测显著性或视觉重要性的方法在专门数据集上单独训练，导致应用受限且在新图像类别上泛化能力差，同时要求用户知道将哪个模型应用于哪个输入。UMSI是一种基于深度学习的模型，同时在来自不同设计类别的图像上训练，包括海报、信息图、移动UI以及自然图像，并包含自动分类模块对输入进行分类。这使得模型可在不需要用户标记输入的情况下更有效地工作。本研究还引入了Imp1k，这是一个标注了重要性信息的新设计数据集。展示了两个使用重要性预测的新设计界面：调整设计元素相对重要性的工具，以及在保持视觉重要性同时将设计重排到新纵横比的工具。模型、代码和重要性数据集可通过http://predimportance.mit.edu获取。