Screen2Vec: GUI屏幕和GUI组件的语义嵌入

文献标题

Screen2Vec: Semantic Embedding of GUI Screens and GUI Components

文献信息

• 主题领域: 人机交互、语义嵌入、图形用户界面 (GUI) 分析
• 关键词: GUI嵌入、语义表示、自监督学习、用户交互、屏幕设计、任务学习、布局模式、领域适应、用户界面设计、神经网络

研究背景与问题

• 发现问题或挑战:

  • 现有的GUI语义表示方法多集中于文本内容或视觉设计，无法同时捕捉屏幕任务上下文、交互信息及布局模式。
  • 部分方法需要大量人工标注，适配性较低，限制了其多任务领域应用。
  • 当前的嵌入模型在不同任务中的泛化能力有限，难以适配多种下游任务。

• 重要性:

  • 随着数据驱动的计算方法在用户-GUI交互建模中的兴起，高效表示GUI界面的语义信息对于任务建模与设计改进具有重要意义。
  • 能够有效捕捉屏幕语义及用户任务上下文的嵌入对开发智能界面建议系统和设计生成工具至关重要。

• 研究动机:

  • 为解决上述问题，作者提出一种不需要数据人工标注的全新自监督模型 Screen2Vec，用于生成全面的屏幕语义嵌入。该模型能够在多维度上表示屏幕间的语义相似度和设计上下文。

解决方案

方法概要

• 提出方法:
  • 开发了一种新的自监督技术，通过捕捉GUI屏幕及其组件的文本、视觉设计、布局模式和应用元数据，生成嵌入向量。
  • 设计了两层嵌入管道：组件级别嵌入与屏幕级别嵌入。
  • 使用用户交互轨迹数据（如Rico数据集）进行无标注训练。

创新之处

1. 组合多种特性: 模型同时整合了文本语义嵌入（基于Sentence-BERT）、组件类型、屏幕布局嵌入及应用元数据。
2. 自监督框架: 采用“连续词袋”（CBOW）模式，通过预测上下文中的屏幕或组件，优化嵌入学习，无需人工标注。
3. 屏幕序列建模: 将屏幕嵌入视为用户任务的构建块，进一步支持跨应用任务表示。

实施步骤与关键技术

• 数据预处理: 利用Rico数据集中多种屏幕描述（如视图层次结构、文本内容、布局信息）建立语义表示。
• 组件嵌入模型: 使用768维 pre-trained Sentence-BERT 表示文本，结合6维类嵌入，通过线性组合生成组件嵌入。
• 屏幕嵌入模型: 融合组件级别嵌入、布局嵌入和应用描述，生成1536维屏幕语义表示。
• 模型训练: 使用Adam优化器和交叉熵损失函数，通过用户交互轨迹实现屏幕预测任务（如依据屏幕序列预测下一屏幕）。

研究成果

• 具体成果:

  • 开发并开源了 Screen2Vec 模型及预训练参数，可直接用于安卓应用屏幕的嵌入生成。
  • 在多个下游任务中展示该模型的有效性，与基线模型（如TextOnly和LayoutOnly）相比显著提升语义描述能力。

• 相较现有解决方案的优势:

  • 能综合编码屏幕的文本、布局及应用语境，比单一特性编码模型具备更高的预测准确性和表示能力。
  • 自监督学习方式极大降低了数据标注成本，扩展了模型在不同数据集中的普适性。

• 实验或评估结果:

  • 屏幕预测任务: Screen2Vec在多个指标（如Top-1预测准确率、Top-0.01%准确率）上始终优于基线模型，在归一化均方误差（RMSE）方面也表现较佳。
  • 下游任务性能: 包括最近邻检索、嵌入向量组合性、任务序列表示等任务，均能够有效地支持设计灵感生成与任务比较。

• 局限性与未来方向:

  • 局限于Android应用，尚未扩展到跨平台（如iOS桌面应用）场景。
  • Rico数据集中缺乏跨应用交互，模型需在多应用轨迹数据进一步验证。
  • 当前未考虑图标语义的嵌入，未来可引入视觉目标检测技术增强模型适配性。
  • 可进一步研究序列嵌入方式以提升动态任务表示能力。

相关应用与贡献

• 图形用户界面设计:
  • 支持基于设计相似性和嵌入组合查询，进一步提升设计灵感生成效率。
  • 为生成式布局模型（如 LayoutGAN）提供更语义化的屏幕嵌套逻辑。
• 跨应用任务学习:
  • 通过 Screen2Vec 嵌入的任务序列生成，增强智能任务学习系统（如Sugilite）间的迁移能力。

总之，Screen2Vec 提供了一个全新的解决方案，对研究用户界面中的语义嵌入具有重要贡献，并为诸多领域（如交互式学习、设计生成等）开辟了新的研究和应用方向。