UIClip：用于评估用户界面设计的数据驱动模型

视频

DOI

用户界面设计是确保应用程序可用性、可访问性和美学质量的一项困难但重要的任务。我们开发了一个机器学习模型UIClip，用于根据UI截图和自然语言描述评估UI设计质量和视觉相关性。为训练UIClip，我们结合自动爬取、合成增强和人工评级构建了一个大规模的UI数据集，按描述组织并按设计质量排序。通过在数据集上训练，UIClip隐式学习了好的和差的设计属性：（i）分配表示UI设计相关性和质量的数值分数；（ii）提供设计建议。在一项评估中，我们将UIClip和其他基线的输出与12位人类设计师的评级进行比较，发现UIClip与真实排名的 agreement 最高。最后，我们展示了三个示例应用，展示了UIClip如何促进依赖即时UI设计质量评估的下游应用：（i）UI代码生成，（ii）UI设计提示生成，（iii）感知质量的UI示例搜索。