ScreenAudit：使用大型语言模型检测移动应用中的屏幕阅读器无障碍错误

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者指出许多移动应用未能满足可访问性标准，导致残障人士无法正常使用其功能。这种情况长期未得到显著改善，即使开发者工具如Google的Accessibility Scanner已经被广泛采用，其自动化规则检测工具仍对可访问性错误的覆盖有限，未能发现重要的屏幕阅读器问题。

• 为什么这个问题很重要？
  移动应用的不可访问性可能导致残障人士无法获得数字产品的好处，从而进一步加剧数字鸿沟。此外，开发者缺乏明确的反馈工具也阻碍了可访问性设计的广泛实施。

• 研究动机与相关工作
  现有自动化规则检测工具仅能检测有限类型的错误，例如颜色对比和缺少标签，而忽略了动态内容的验证以及屏幕阅读器的响应质量。作者的工作旨在利用最新的大语言模型（LLM）技术来扩展自动化检测的范围，从而为开发者提供更有意义的可访问性反馈。

解决方案

• 作者提出了哪些方法或解决方案？
  作者开发了一个名为「ScreenAudit」的系统，利用LLM（如 GPT-4）自动检测屏幕阅读器的可访问性问题，收集TalkBack的语音输出并生成详细的可访问性报告。

• 该解决方案的创新之处是什么？

  • 扩展错误检测范围：相比现有工具，ScreenAudit能够检测更复杂、更难识别的屏幕阅读器可访问性错误。
  • 结合屏幕阅读器输出：系统直接分析屏幕阅读器的反馈，模拟真实用户交互体验。
  • 提供详细解释与改进建议：LLM通过对TalkBack输出的分析，生成可操作的反馈和修复建议。

• 实施步骤是什么？使用了哪些关键技术？

  1. Recorder模块：遍历屏幕元素，捕获TalkBack的语音输出和动态视图快照。
  2. Auditor模块：使用GPT-4通过定制化提示（Prompt）对TalkBack的输出进行分析，并检测潜在的可访问性问题。
  3. Report Viewer模块：通过Web界面向开发者展示详细的报告，包括问题描述、解释和修复建议。

研究成果

• 取得了哪些具体成果？

  • ScreenAudit检测的屏幕可访问性问题覆盖率达到了69.2%，远高于Google的Accessibility Scanner（31.3%）。
  • 精度达到71.3%，并在实验中发现了专家初始忽略的额外问题。

• 与现有解决方案相比，它有哪些优势？

  • 对屏幕阅读器交互的覆盖更广，可以检测到复杂的标签质量问题、结构分组错误等未被现有工具覆盖的类型。
  • 提供可操作的建议，帮助开发者高效修复问题。
  • 实现报告的直观展示，与开发工具结合的潜力更高。

• 实验或评估结果是什么？

  • 实验表明，ScreenAudit生成的报告质量更高，与专家的评估结果存在强相关性。专家使用该工具后，发现它能够提供有效且易用的反馈。
  • 在不同的LLM提示结构中，通用可访问性指导加上下文提示的组合表现最佳，提升了模型的检测准确性（F1得分达0.704）。

• 局限性与未来方向

  1. 无法检测未对屏幕阅读器聚焦的元素：未来将考虑结合屏幕截图解析技术扩展检测范围。
  2. 仍需更好的上下文理解：未来研究可探索与现有爬虫技术结合，加强对交互顺序和内容组织的感知能力。
  3. 未支持功能测试：可进一步发展代理驱动的交互测试机制，模拟更复杂用户场景。
  4. 缺乏直接代码分析工具：未来可加入代码级的问题定位与重构建议模块，并支持修复后的重新评估。

总结

ScreenAudit展示了通过结合屏幕阅读器输出和大语言模型技术进行移动应用可访问性评估的巨大潜力。它不仅扩展了当前自动化工具的错误检测范围，还能为开发者提供详细的解释和改进建议，从而有效促进无障碍设计在开发过程中的优先级。这项工作为未来开发更完善的、用户模拟驱动的可访问性评估工具奠定了基础，同时也为解决可访问性挑战指明了新方向。