屏幕解析：面向UI模型从截图的逆向工程

文献标题

Screen Parsing: Towards Reverse Engineering of UI Models from Screenshots

文献信息

• 主题领域: 用户界面(UI)的逆向工程与模型解析
• 关键词: 用户界面建模, UI语义, 层级预测, 可访问性增强, 代码生成

研究背景与问题

• 问题或挑战: 当前实现用户界面自动理解的方法通常依赖开发者提供的元数据，比如视图层级或可访问性标签。然而，这些元数据存在缺失或不完整的情况。且目前许多方法对于如何将UI元素语义分组并构造成结构化界面定义仍存在局限。
• 重要性: 自动解析UI结构有助于提升应用的可访问性、支持任务自动化、增强界面设计效率，减少人工干预。
• 研究动机与相关工作:
  • 研究探索如何从UI截图解析层级结构，以实现UI理解。
  • 借鉴自然语言处理领域的解析技术，针对UI屏幕解析提出创新性解决方案。

解决方案

• 提出的解决方案: 屏幕解析(Screen Parsing)，即从屏幕截图中预测UI元素及其关系的结构化模型。
• 创新点:
  • 将自然语言解析技术应用于UI建模，利用机器学习生成UI层级结构。
  • 方法包括UI元素检测、UI层级预测和元素分组分类。
• 实施步骤与技术:
  1. UI元素检测：采用Faster-RCNN模型提取屏幕上的UI元素及其参数，如位置和类型。
  2. UI层级预测：利用基于堆栈的自上而下解析器和LSTM模型预测UI元素的层级关系，并生成树结构。
  3. 组分类(Labeling)：使用深度平均网络（DAN）对中间节点进行分类，标签包括按钮组、列表项、工具栏等常见容器类型。

研究成果

• 具体成果:
  • 构建并实现一个屏幕解析模型，成功预测UI层级结构。
  • 在各类性能指标上达到了比基线方法（例如Screen Recognition）更高的准确度，提升幅度最高达23%。
• 与现有解决方案相比的优势:
  • 度量支持更广泛的应用场景，例如结构相似性计算、屏幕阅读器可用性增强、代码生成。
  • 层级预测方法具有全局视野，不局限于局部启发式分组。
• 实验或评估结果:
  • 提出的动态训练方法（Dynamic Oracle）显著优于传统静态训练方法（Static Oracle）。
  • 综合性能指标包括F1分数、树编辑距离(GED)和分组匹配分数(CM)，在AMP（iOS数据集）和RICO（Android数据集）上均优于基线方法。
  • 在复杂屏幕上表现较为稳定，即使屏幕元素数量较多依然具有竞争力。
• 局限性与未来方向:
  • 屏幕解析容易受到UI元素检测模型的性能影响。未来工作可以通过更强的对象检测技术优化性能。
  • 当前方法主要处理单一截图，但某些UI语义（例如任务模型）需要处理屏幕序列。
  • 可以扩展屏幕解析的目标，例如涉及数据流、交互和任务模型的提取。

示例应用

1. UI相似性搜索:
   • 利用解析模型的中间表示生成UI嵌入向量，用于测量屏幕相似性。
   • 应用场景：应用爬取、信息提取，以及对语义结构的分析。
2. 可访问性增强:
   • 改进屏幕阅读器的导航顺序，帮助视障用户更高效地使用界面。
   • 解析模型可以弥补传统启发式方法的局限，例如对全局信息的处理。
3. UI代码生成:
   • 从截图生成代码（如SwiftUI），以支持UI原型开发。
   • 输出代码支持响应式布局，适应不同屏幕尺寸和设备类型。

附加信息

• 实验数据集：AMP（130,000个iOS屏幕）、RICO（80,000个Android屏幕）。
• 主要模型架构和超参数设置：Faster-RCNN用于元素检测，堆栈解析器用于层级预测，深度平均网络用于分组分类。
• 屏幕解析模型的缺陷示例包括：对象检测错误、分组错误和分组遗漏。