TaskAudit：通过智能体任务执行检测移动应用功能可达性错误

文献标题

TaskAudit: Detecting Functiona11ity Errors in Mobile Apps via Agentic Task Execution

出版信息

• 主题领域: 移动应用的自动化无障碍性评估
• 关键词: 无障碍性，移动应用，功能性错误，屏幕阅读器，任务执行，多代理系统，大型语言模型，WCAG，自动化测试，用户交互

背景与问题

• 问题/挑战: 现有的无障碍检查工具主要集中于静态或启发式评估，无法检测“功能性错误”，即仅在用户交互过程中显现的无障碍障碍。
• 重要性: 功能性错误（如标签与功能不匹配、不适当的反馈）严重影响屏幕阅读器用户对移动应用的可用性，但当前工具无法检测到这些问题。
• 动机与相关工作: 之前的工具如 Groundhog 和 AXNav 尝试解决功能性问题，但其方法局限于基于启发式或机械爬取的方式。这些方法通常会产生大量误报，且无法捕捉依赖交互的细微错误，因此需要一种能够语义解释界面行为的系统来填补这一空白。

解决方案

• 提出的方法: TaskAudit 是一个通过代理任务执行和屏幕阅读器代理检测移动应用功能性错误的系统。
• 创新点:
  1. 提出了“功能性错误”的概念，并将其分类为五种类型：可定位性错误、可操作性错误、标签错误、反馈错误和导航错误。
  2. 开发了一个多代理系统，模拟屏幕阅读器交互以检测错误。
  3. 集成了大型语言模型（LLMs），用于生成任务、执行任务并分析交互轨迹以发现无障碍问题。
  4. 展示了 TaskAudit 能够检测现有工具无法发现的错误，如标签与功能不匹配和导航混乱等问题。
• 流程与关键技术:
  1. 任务生成器: 使用 OCR 和 LLMs 从应用截图中识别交互元素并生成任务规范。
  2. 任务执行器: 利用多代理系统通过屏幕阅读器代理执行任务，模拟用户交互。
  3. 无障碍分析器: 通过两阶段评估过程分析执行轨迹，检测并报告功能性错误。

结果

• 具体发现:
  • TaskAudit 在 54 个应用屏幕中检测到 78 个功能性错误中的 48 个，精确率为 66.2%，召回率为 61.5%。
  • 任务生成器在数据集中识别了 69.4% 的可操作元素，生成的标题有 93.4% 与人工注释一致。
  • 任务执行器在可访问屏幕上的任务执行成功率达到了 96.0%。
• 相较基线的优势:
  • TaskAudit 在精确率上显著优于 Groundhog（66.2% 对比 14.2%），并检测到了 Groundhog 无法覆盖的额外错误类别（标签、反馈和导航）。
  • 与 Accessibility Scanner 和 ScreenAudit 相比，TaskAudit 检测到了更多的功能性错误。
• 实验/评估:
  • 任务识别基于人工注释数据集（如 RICO）进行评估。
  • 任务执行在 36 个可访问应用屏幕上的 299 个任务中进行测试。
  • 功能性错误检测在包含 78 个已知错误的 54 个屏幕上，与三种最先进的工具（Groundhog、Accessibility Scanner、ScreenAudit）进行了对比基准测试。
• 局限性与未来工作:
  • 局限性包括无法执行触摸探索、对任务生成依赖 LLMs，以及较高的计算成本。
  • 未来工作可以探索结合规则和代理方法的混合方法，微调更小的模型以降低成本，并将系统适配到其他交互模式（如基于语音的界面）。

总结

TaskAudit 提出了通过多代理任务执行模拟屏幕阅读器交互来检测移动应用功能性错误的新方法。该系统通过利用 LLMs 进行语义分析和交互轨迹评估，克服了现有工具的局限性，实现了更高的精确率和更广的错误覆盖范围。系统在五个类别中检测到了 78 个错误中的 48 个，包括现有方法未能发现的错误。尽管计算成本较高，TaskAudit 展示了其集成到开发工作流中以增强无障碍性测试和提升移动应用包容性的潜力。未来工作将致力于优化性能并扩展到其他辅助技术的适用性。