为移动应用学习设计语义

最近，研究人员开发了黑盒方法从移动应用中挖掘设计和交互数据。虽然交互挖掘过程中捕获的数据具有描述性，但并未揭示UI的设计语义：屏幕上元素的意义及其使用方式。本文提出了一种自动生成移动应用UI语义标注的方法。通过对73,000个UI元素和720个屏幕进行迭代开放编码，我们贡献了一个包含25种UI组件类型、197个文本按钮概念和135个图标类别的词汇数据库，跨应用共享。我们使用这些标注数据学习基于代码的模式来检测UI组件，并训练卷积神经网络以94%的准确率区分图标类别。为展示我们方法的大规模有效性，我们为Rico数据集中72,000个独特UI计算语义标注，为78%的可见非冗余元素分配了标签。