Crepe：基于图查询的移动屏幕数据采集工具

文献标题

Crepe: A Mobile Screen Data Collector Using Graph Query

出版信息

• 主题领域: 移动屏幕数据采集的学术研究。
• 关键词: 移动数据采集, 图查询, Android 辅助功能服务, 示范式编程, 用户隐私, 屏幕用户界面数据, 算法审计, 人机交互, 数据透明性, 学术研究。

背景与问题

• 问题/挑战: 学术研究者在采集移动屏幕数据时面临重大挑战，主要由于平台和应用开发者对数据访问的严格控制，导致了“数据垄断”。现有工具主要关注移动传感器数据，而非屏幕内容，且当前方法效率低下、侵入性强或缺乏针对性。
• 重要性: 屏幕数据能够提供关于用户交互、偏好和行为的关键洞察，为算法审计、用户体验和社交媒体分析等领域的研究提供支持。使屏幕数据的访问民主化可以赋能研究者和用户，同时解决隐私问题。
• 动机与相关工作: 之前的工具如 Aware 和 ShiptCalculator 主要关注传感器数据或手动截图采集，而像 XPath 这样的工具在屏幕特定数据的灵活性上存在不足。现有解决方案通常未能解决隐私、针对性或易用性的问题，为像 Crepe 这样的工具留下了空白。

解决方案

• 提出的方法: Crepe 是一款无代码的 Android 应用，研究者可以通过示范式编程范式和一种新颖的图查询语言采集特定的屏幕数据。
• 创新性:
  1. 引入 Graph Query，这是一种用于识别、定位和采集目标用户界面元素的确定性查询语言。
  2. 为研究者提供低代码、可定制的移动屏幕数据采集工具，强调参与者隐私和透明性。
  3. 通过用户研究对可用性、准确性和实际性能进行全面评估。
• 流程与关键技术:
  • 研究者通过点击屏幕元素指定目标数据，Crepe 将其转换为 Graph Queries。
  • Graph Queries 使用语义、层次和空间关系来识别目标数据。
  • Crepe 通过 Android 辅助功能服务运行，确保与各种应用和框架的兼容性。
  • 透明性功能包括数据采集过程中的视觉高亮显示和供参与者查看采集数据的仪表板。

结果

• 具体发现:
  • 研究 1：研究者成功创建数据采集器，生成 Graph Queries 的准确率达到 100%。
  • 研究 2：Crepe 在 Instagram、Uber 和 Chrome 三个应用中实现了 96.0% 的总体 F1 分数（精确率：96.0%，召回率：95.8%）。
  • 研究 3：对设备性能的影响最小，电池使用率为 0% 至 14%（大多数 ≤2%），未报告用户中断。
• 相较基线的优势:
  • 相较 XPath 和其他工具，具有更高的针对性和灵活性。
  • 不依赖深度学习或 OCR 的确定性和可靠性数据采集。
  • 相较于无差别采集所有屏幕数据的工具，增强了用户隐私和透明性。
• 实验/评估:
  • 研究 1：对 5 位研究者进行可用性测试，他们为 Instagram、Uber 和 Chrome 创建数据采集器。
  • 研究 2：在实验室中对 5 位参与者进行准确性测试，生成了 528 个标注数据点。
  • 研究 3：对 7 位参与者进行 24–72 小时的实地研究，采集了 358 条 Instagram Story 广告。
• 局限性与未来工作:
  • 应用更新、本地化和复杂用户界面屏幕的挑战。
  • 需要更大规模的部署以及对更丰富媒体类型（如图像、视频）的支持。
  • 未来改进包括多查询支持、实时仪表板，以及数据哈希等隐私中心功能。

总结

Crepe 通过利用示范式编程范式和确定性的 Graph Query 语言，引入了一种新颖的移动屏幕数据采集方法。它使研究者能够采集特定的用户界面数据，同时确保参与者的隐私和透明性。评估研究表明，该工具具有良好的可用性、高准确性（96.0% F1 分数）以及对设备性能的最小影响。Crepe 通过使屏幕数据的访问民主化，解决了“数据垄断”问题，支持多样化的研究应用。未来工作将聚焦于可扩展性、更丰富的数据类型以及增强的隐私功能。该工具将开源以支持学术界。