由记录和重播技术驱动的移动应用中的辅助技术手动可访问性测试

文献标题

Assistive-Technology Aided Manual Accessibility Testing in Mobile Apps, Powered by Record-and-Replay

文献信息

• 主题领域: 移动应用的辅助技术支持的无障碍测试
• 关键词: Android, Accessibility, Software Testing, TalkBack, Assistive Technology

研究背景与问题

• 问题或挑战:
  • 移动应用的开发者通常测试触摸手势的功能，但忽视使用辅助技术（如屏幕朗读器）进行无障碍评估。
  • 自动化无障碍测试工具通常不考虑辅助服务，并无法检测许多复杂的问题，例如屏幕元素不可聚焦或者交互序列问题。
• 重要性: 全球约15%的人口有残疾，这些用户无法使用传统的触控手势进行交互。法律和社会责任要求开发者设计易于所有人使用的应用程序。
• 研究动机与相关工作:
  • 虽然用户研究是评估无障碍性的最可靠方式，但找到适合的残疾用户进行评估耗时高且成本大。
  • 现有工具如Latte和ATARI在无障碍测试方面有所限制，难以覆盖不同类型的交互方式及复杂的交互场景。

解决方案

• 提出的方案:
  • 作者开发了一种新的半自动化无障碍分析技术“A11yPuppetry”，结合记录和重放（RaR）技术，通过记录开发者的触摸手势并使用屏幕朗读器重放这些交互，生成可视化报告。
• 创新之处:
  • 将记录的触控动作转换为屏幕朗读器的对应行为，通过多种导航模式评估。
  • 对每次交互生成全面报告，包括未聚焦元素、无效操作等。
  • 提供多种用户研究和实验以验证方案的有效性。
• 实施步骤与技术:
  1. 记录阶段: 使用透明覆盖层记录用户的触摸手势，并捕获UI层次结构和屏幕截图。
  2. 动作翻译: 将记录的手势转换为屏幕朗读器的导航和交互动作。
  3. 重放阶段: 在不同设备上使用屏幕朗读器和不同导航模式进行重放，生成详细的执行报告。
  4. 报告生成: 聚合执行过程中的信息，生成可访问问题的总结报告，通过Web界面展示给开发者。

研究成果

• 具体成果:
  • 利用A11yPuppetry检测盲用户无法聚焦的UI元素、无效的交互操作，以及缺少明确文本说明等问题。
  • 与现有解决方案对比，A11yPuppetry覆盖了更多问题类型，报告信息更详尽。
  • 用户研究表明，其对于探测用户体验中的关键问题具有显著优势。
• 优势:
  • 可以检测动态交互中辅助技术相关的问题，现有工具无法实现。
  • 提供视觉化的报告和用户行为模拟，支持开发者通过手动分析解决潜在问题。
  • 不需要开发者具备复杂的无障碍技术知识即可操作。
• 实验或评估结果:
  • 在五个Android应用上完成实验，发现其可以有效帮助开发者发现盲用户确认的问题。
  • 自动检测用户确认问题的比例超过70%，显著优于现有的工具如Latte和Accessibility Scanner。
• 局限性与未来方向:
  • 不适合检测用户语义理解问题，如不明确的文本描述和上下文设计问题。
  • 某些技术限制（例如TalkBack的冻结问题和广告动态显示），可能导致错误报告。
  • 未来方向包括支持更多辅助服务和平台推广，以及作为教学工具帮助开发者了解无障碍设计标准。

这篇论文系统性地解决了移动应用无障碍测试的工具化问题，使开发者能够更全面地满足残疾用户的需求，同时通过实验验证了其工业实践的潜力，为后续无障碍测试研究提供了坚实基础。