Towards Automated Accessibility Report Generation for Mobile Apps

许多应用存在基本的无障碍问题，如缺少标签或对比度低。为补充人工测试，自动化工具有助于开发者和QA测试人员发现基本无障碍问题，但使用它们可能很费时或需要编写专门的测试。为推动我们的工作，我们采访了一家大型科技公司的八名无障碍QA专业人员。从这些访谈中，我们总结了无障碍报告生成系统的三个设计目标。受到这些目标的启发，我们开发了一个系统，通过结合多样的数据收集方法（如应用抓取、人工录制）与现有的无障碍扫描器来生成整应用无障碍报告。许多此类扫描器基于单屏扫描，整应用无障碍报告的一个关键问题是如何有效去重和总结跨应用收集的问题。为此，我们开发了准确率达96.9%（F1分数88.8%）的屏幕分组模型和准确率达97%（F1分数98.2%）的UI元素匹配启发式算法。我们将这些技术结合到一个系统中，以跨应用报告和总结独特问题，并启用独特的基于像素的忽略功能，帮助工程师和测试人员更好地管理应用生命周期内报告的问题。我们进行了一项用户研究，19名无障碍工程师和测试人员在无障碍审计背景下使用多种工具创建优先问题列表。我们的系统帮助他们创建了更满意的问题列表，同时解决了当前无障碍扫描工具的关键局限性。