从智能手机应用截图理解屏幕关系

文献标题

Understanding Screen Relationships from Screenshots of Smartphone Applications

文献信息

• 主题领域: 智能手机用户界面分析与建模
• 关键词: 用户界面相似性, UI建模, UI语义, 屏幕转换, 智能应用爬取, 机器学习, 自动化测试, 图像分析

研究背景与问题

• 问题或挑战:
  用户界面设计的一个核心是理解和表征一个应用中屏幕之间的关系，这是一个复杂的任务，因为同一屏幕的不同实例可能在视觉和结构上有所差异（例如，数据库内容的变化、滚动状态、对话框的打开和关闭等）。同时，来自同一应用的不同屏幕可能在设计、结构和内容上具有相似性。
• 重要性: 准确识别和理解屏幕关系对诸多领域有重要意义，如自动化应用爬取、应用交互自动化、用户界面数据集分析以及自动化测试等。
• 研究动机与相关工作:
  现有的研究大多依赖底层实现（如Android平台的视图层次结构），局限于特定平台或UI工具集，而该论文提出了一种通用方法，仅基于UI截图像素信息进行分析，具有更广泛的适用性。

解决方案

• 方法或解决方案: 作者提出了两个机器学习模型：
  1. 屏幕相似性模型：利用UI对象检测器和Transformer架构，判断两个屏幕是否为相同的屏幕实例。
  2. 屏幕转换模型：基于Siamese网络架构，检测屏幕交互轨迹中六种常见的转换事件（如滚动、对话框出现等）。
• 创新之处:
  • 完全基于像素信息分析屏幕关系，不依赖底层实现。
  • 提出了结合Transformer架构和UI元素多模态特征的屏幕相似性模型。
  • 提出首个屏幕转换检测模型，可以识别多种屏幕事件，且有效结合屏幕相似性任务的训练信号。
• 实施步骤与关键技术:
  1. 数据集准备：从1110个iPhone应用中收集超过77,000个截图，并进行详细标注。
  2. 屏幕相似性模型：
     • 使用预训练的Faster-RCNN模型对截图中的UI元素进行检测与特征提取。
     • 将检测到的UI元素输入Transformer模型（以[CLS]标记联合编码两张截图），通过分类器确定屏幕是否相似。
  3. 屏幕转换模型：
     • 使用ResNet-18编码每张截图。
     • 通过Siamese网络的嵌入差值区分同屏滚动与其他屏幕变化，并分类多种转换类型。
  4. 模型优化：分别使用二元交叉熵损失与对比损失训练，解决数据不平衡问题并提高泛化性能。

研究成果

• 具体成果:
  • 屏幕相似性模型：
    • 在屏幕相似性任务中实现了F1分数0.83，比基准方法（如TensorFlow Similarity的F1分数0.69）显著提升。
    • 成功捕获了滚动变化、内容变化等UI动态特征。
  • 屏幕转换模型：
    • 在6种事件类型上平均F1分数为0.65，简化为3种事件类型后达到0.71。
    • 能有效预测滚动、对话框打开或关闭等转换事件，同时在检测“同一屏幕”时表现优异，F1分数为0.80。
• 相较现有方案的优势:
  • 与基于像素推断或视图层次结构建模的方法相比，该方案实现更高精度的屏幕相似性和屏幕事件检测。
  • 提出了将屏幕事件和屏幕相似性任务联合优化的策略，提高了具体任务和模型的通用性。
• 局限性与未来方向:
  1. 数据集规模有限，仅覆盖1110个应用，扩展至更多应用可能进一步提升模型性能。
  2. 局部标注一致性有待提升，改进的标注流程和培训可能会减少噪声。
  3. 未来可将模型集成到自动爬取和UI测试任务中，验证其实用效果，同时探索跨平台应用场景中的适用性。