Latte：用于Android的用例和辅助服务驱动的自动化可访问性测试框架

文献标题

Latte: Use-Case and Assistive-Service Driven Automated Accessibility Testing Framework for Android

文献信息

• 主题领域: Android 应用的可访问性测试与评估
• 关键词: Android, 可访问性, 自动化测试, 辅助服务, 移动应用, 可用性测试, 无障碍设计, Graphical User Interface (GUI) 测试, TalkBack, SwitchAccess

研究背景与问题

• 发现问题与挑战:

  • 超过15%的人口有某种形式的残疾，移动应用的无障碍性对他们尤为重要。
  • 现有的自动化无障碍评估工具主要基于预定义的规则，但无法反映残疾用户的实际交互体验。
  • 当前技术的局限性包括：过多的警告、未区分主要功能与次要功能、忽略辅助服务中的关键用户交互问题。
  • 使用现有的辅助工具（如TalkBack或SwitchAccess）对动态界面或自定义控件的支持有限。

• 研究重要性:

  • 改善移动应用的可访问性是技术创新的重要目标。
  • 有效的无障碍测试能够帮助开发者提升用户体验，避免影响广泛残疾用户的应用使用。

• 研究动机与相关工作:

  • 以往方法包括静态分析和动态分析，但都存在无法捕获实际用户交互问题的不足。
  • 动态分析（如Google Accessibility Scanner）需要人工操作，且无法系统地覆盖所有主要功能。
  • 研究的动机在于开发一种新的方法，能够真实地反映残疾用户的实际交互方式，并识别与辅助服务相关的关键无障碍问题。

解决方案

• 方法和解决方案:

  • 提出了一种名为Latte的高保真自动化可访问性测试框架。
  • Latte的关键思想是借用开发者已有的功能性测试，提取用例并在辅助服务（TalkBack和SwitchAccess）中自动执行这些用例，检测无障碍问题。

• 创新之处:

  • 集成功能测试与使用辅助服务的无障碍测试，从用户交互的视角检测可访问性问题。
  • 自动执行应用的用例，同时生成详细的报告（包括错误原因及重现步骤）。
  • 减少开发者需要处理的警告数量，报告更加精准且针对应用主要功能的缺陷。

• 实施步骤及关键技术:

  • 步骤1 - 测试分析器: 分析输入的GUI测试，将其转化为用户能够感知的用例规范。
  • 步骤2 - 用例执行器: 在TalkBack与SwitchAccess环境中执行用例，通过辅助服务的API模拟用户交互。
  • 步骤3 - 结果分析器: 收集执行过程的数据，包括可访问性问题、交互次数，并生成可用性报告。
  • 使用动态程序分析、安卓AccessibilityService扩展以及自动化测试框架如Appium完成。

研究成果

• 具体成果:

  • Latte能够检测出Google Accessibility Scanner未能发现的大量无障碍问题。
  • 测试了20个真实世界的Android应用，发现32个现有技术无法检测的问题。
  • 在对用例的执行准确性上，Latte实现了100%的精确率（无误报）。

• 与现有解决方案的比较优势:

  • Latte考虑了用户的重要功能用例，而不仅是静态的屏幕扫描，显著减少了开发者在次要问题上的工作负担。
  • 相比Google Accessibility Scanner，Latte发现了更多重要缺陷（例如动态布局问题、导航路径阻塞、非标准组件问题）。
  • 通过更加精确和可操作的报告提高了开发者的修复效率。

• 实验与评估结果:

  • 在实验中，平均每个用例执行需要11次直接交互，使用辅助服务则需要43次和51次交互。
  • Scanner产生了1,716个问题报告，而相关问题仅占18个；相比之下，Latte仅报告每个用例的核心无障碍问题。
  • Latte在动态布局、导航循环、非标准实现等问题类别上进行了系统性分类，并提供解决方案建议。

• 局限性与未来方向:

  • Latte未覆盖非辅助服务用户（如低对比度文本）的可访问性问题，需要与其他工具结合使用。
  • 未来研究将扩展至更多辅助服务与复杂手势，开展用户研究以发现未被探测的无障碍问题。