史威: 基于草图的用户界面检索

草图和实际用户界面示例经常在用户界面设计过程的多个阶段中使用。不幸的是，在大规模数据集中找到相关的用户界面示例是一项极具挑战性的任务，因为用户界面具有美学和功能属性，这些属性仅间接地反映在其对应的像素数据和元数据中。本文介绍了Swire，这是一种基于草图的神经网络驱动技术，用于检索用户界面。我们从Swire的开发中收集了第一个大规模的用户界面草图数据集，研究人员可以使用该数据集来开发新的基于草图的数据驱动设计界面和应用程序。Swire在查询用户界面方面表现出高性能：对于一个已知的验证任务，它在超过60%的查询中将最相关的示例作为前10个结果之一检索出来。通过这种技术，设计师首次可以使用自然融入其设计工作流程的自由形式草图准确检索相关的用户界面示例。我们展示了由Swire驱动的几种新颖应用，这些应用可以极大地增强用户界面设计过程。