GhostUI：揭示移动端用户界面中的隐藏交互

文献标题

GhostUI: Unveiling Hidden Interactions in Mobile UI

出版信息

• 主题领域: 移动用户界面中隐藏交互的检测与建模。
• 关键词: 隐藏交互、移动用户界面、视觉语言模型、手势识别、数据集、任务自动化、可供性、多模态学习、交互设计、移动代理。

背景与问题

• 问题与挑战: 现代移动用户界面越来越依赖于缺乏视觉提示的隐藏交互（例如长按、滑动），使得用户和视觉语言模型（VLMs）难以检测和利用这些交互。现有数据集主要关注可见交互，导致对隐藏手势的理解和自动化存在空白。
• 重要性: 隐藏交互对于在受限的移动界面中最大化功能至关重要，但其可发现性和可用性仍然有限，阻碍了用户体验和自动化移动代理的能力。
• 动机与相关工作: 之前关于移动用户界面数据集和视觉语言模型的研究主要集中于可见的可供性，忽略了隐藏交互。目前的移动代理缺乏对复杂手势（如双击和捏合）的支持，限制了其实际部署。本论文通过系统性记录隐藏交互并支持其建模来解决这些问题。

解决方案

• 提出的方法: GhostUI，一个专门设计用于记录和建模移动用户界面中隐藏交互的数据集和框架，包括配对的屏幕截图、视图层次结构、手势元数据和任务描述。
• 创新点:
  1. 引入GhostUI数据集，其中包含来自81个流行移动应用的1,970个经过验证的隐藏交互实例。
  2. 开发了一个正式分类法，将六种手势类型及其上下文使用模式进行分类。
  3. 证明了在GhostUI上微调的视觉语言模型在手势分类和空间定位任务中优于基线模型。
• 流程与关键技术:
  • 自动化用户界面探测工具，用于系统性测试六种手势类型在移动应用中的表现。
  • 手动验证交互以确保准确性和隐藏特性。
  • 使用自然语言描述进行任务上下文化，以支持多模态训练。
  • 数据集按应用级别划分为训练集和测试集，以确保泛化能力。

结果

• 具体发现:
  • GhostUI包含1,970个隐藏交互实例，手势分布如下：点击（30.3%）、滑动（26.0%）、长按（19.3%）、双击（9.5%）、捏合（8.9%）、滚动（6.0%）。
  • 微调的GPT-4o在手势分类准确率上达到65.6%，IoU为42.5%，分别比零样本基线提高了14.5%和6.5%。
  • 微调的Qwen2.5-VL准确率提升至40.5%，IoU为22.8%，分别比基线的33.3%和19.5%有所提高。
• 相较基线的优势:
  • 微调模型在预测隐藏交互和用户界面转换方面显著优于零样本基线。
  • 消融研究揭示了视图层次结构和手势使用模式对空间定位和分类准确率的关键作用。
• 实验与评估:
  • 两项任务：隐藏交互预测（手势分类和定位）以及用户界面转换预测（交互后状态描述）。
  • 使用准确率、IoU和余弦相似度指标评估模型。
  • 数据集划分确保训练和测试应用之间无重叠。
• 局限性与未来工作:
  • 仅限于Android应用；未来工作应包括iOS及其他平台。
  • 重点关注六种手势；拖放和基于传感器的交互等其他类型尚未探索。
  • 手动标注耗时较长；半自动化方法可提高规模化能力。

总结

GhostUI通过引入全面的数据集和框架解决了移动用户界面中隐藏交互建模的挑战。它记录了六种手势类型的1,970个隐藏交互实例，使视觉语言模型在手势分类和用户界面转换预测方面取得显著性能提升。该数据集突出了隐藏交互的普遍性和复杂性，为移动任务自动化和交互设计提供了重要见解。未来工作可扩展平台和手势覆盖范围，提高标注的规模化能力，并探索人因工程以增强可用性和可访问性。