从丢失到发现：通过恢复缺失标签发现缺失的UI设计语义

设计分享网站为UI设计师提供分享作品的平台及获取灵感的机会。为便于管理和搜索数百万张UI设计图片，许多设计分享网站采用协作标签系统，将分类工作分配给社区。然而，我们的实证研究及对四位专业设计师的访谈表明，设计师往往不知道如何用简洁的文本描述为设计图片恰当添加标签，导致上传作品的标签模糊、不完整且不一致，阻碍了检索。基于深度神经网络，我们引入了一种新方法来编码视觉和文本信息，以恢复现有UI示例的缺失标签，使其更易被文本查询找到。我们在标签预测中达到了82.72%的准确率。通过5个查询的模拟测试，我们的系统平均返回的结果是默认Dribble搜索的数百倍，具有更好的相关性、多样性和满意度。