用户界面的终身学习

文献标题

Never-ending Learning of User Interfaces

文献信息

• 主题领域: 人机交互与机器学习模型在用户界面自动化中的应用
• 关键词: 用户界面, UI建模, 机器学习, 应用爬虫, 持续学习

研究背景与问题

• 发现的问题或挑战:
  • 当前许多机器学习模型依赖人工标注的静态截图数据集，采集成本高且容易出错。尤其是诸如判断 UI 元素是否可点击（tappable）等任务时，人工标注容易产生不确定性。
  • 传统数据集无法反映应用程序动态更新后的真实场景。
• 重要性:
  • 自动化获取UI语义数据并持续更新模型，有助于提高应用程序的可访问性、测试效率以及自动化程度，从而更好地支持用户。
• 研究动机与相关工作:
  • 现有数据集如 Rico 和 AMP 提供了大规模移动 UI 数据，但大多通过人工交互或静态分析生成。
  • 持续学习（Never-ending Learning）被首次应用于知识抽取，有可能拓展到 UI建模领域以解决动态数据收集问题。

解决方案

• 提出的方法或解决方案:
  • 构建一个自动化爬虫系统——Never-ending UI Learner，从移动应用商店中安装真实应用，通过交互发现UI元素的语义属性，生成标注数据，并不断更新机器学习模型。
• 创新之处:
  • 完全自动化的数据收集与标注，无需人工监督。
  • 爬虫能动态适应应用的更新和设计趋势。
  • 初次使用人工标注数据训练模型后，可通过新的交互数据完全替代人工标注。
• 实施步骤与关键技术:
  • 系统架构：
    • 爬虫的协调服务器管理应用列表并分发到多个工作节点。
    • 工作节点在移动设备上自动安装应用，进行交互，并生成数据。
  • 数据处理与模型设计：
    • 通过爬虫记录交互的时间序列截图，以启发式方式标注交互结果，如可点击性（tappability）和可拖动性（draggability）。
    • 使用深度神经网络模型预测 UI 元素语义，包括两个主要组件：
      1. 基于 CNN 的屏幕相似性模型。
      2. UI 元素检测和语义预测模型（如 tappability 和 draggability）。

研究成果

• 具体成果:
  • 爬虫系统累计运行超过5000小时，在6461个应用上执行了超过50万次操作，生成了比现有数据集规模更大的标注数据。
  • 成功训练了三个 UI 语义模型：
    • Tappability：预测元素是否可点击，最终 F1 分数达到0.860。
    • Draggability：预测元素是否可拖动，最终 F1 分数达到0.794。
    • Screen Similarity：预测页面的相似性，最终 F1 分数达到0.663。
• 与现有解决方案对比优势:
  • 显著降低人工标注成本，同时提高数据标注的可靠性。
  • 面向实际应用场景动态设计变化的更强适应性。
• 实验与评估结果:
  • 对比随机爬取与不确定性采样，随机爬取策略达到最佳性能。
  • 各模型均在早期训练阶段快速提高性能，但在后续爬取周期性能改进趋于平缓。
  • 通过爬虫生成的数据对屏幕相似性模型进行微调，达到了比原始数据集仅训练更好的结果。
• 局限性与未来方向:
  • 系统目前仅支持 iOS 应用的爬取与分析，未来可扩展至其他平台（如 Android 和 Web）。
  • 交互标注的启发式方法对某些复杂语义可能无法有效泛化。
  • 需要改进数据冗余问题的处理（如重复爬取相似场景）。
  • 探索更多UI语义的学习方法，如“按住”功能或文本框输入行为。

总结

本研究实现了基于自动化交互的持续学习框架，用于动态收集和建模用户界面语义数据，具有高度的自动化和可扩展性。该方法不仅有效降低了人工标注的成本，还能够学习和适应不断演化的 UI 设计趋势，未来有望在提高应用可访问性、自动化测试以及 UI 可用性改进方面产生重要影响。