StateLens：使现有动态触摸屏可访问的反向工程解决方案

盲人在日常生活中经常遇到难以访问的动态触摸屏，使用起来困难、沮丧，且通常无法独立操作。触摸屏通常是从咖啡机、支付终端到地铁售票机和飞行娱乐系统的唯一控制方式。非视觉地与动态触摸屏交互是困难的，因为视觉用户界面会发生变化，交互通常发生在多个不同的屏幕上，而且在探索屏幕时很容易意外触发界面操作。为了解决这些问题，我们引入了 StateLens——一个使现有动态触摸屏可访问的三部分反向工程解决方案。首先，StateLens 使用用户在线或使用混合众包计算机视觉管道拍摄的第一人称视频，对现有界面的底层状态图进行反向工程。其次，利用状态图，StateLens 自动生成对话代理，引导盲人用户指定界面可以执行的任务，从而 enable StateLens iOS 应用程序提供交互式指导和反馈，使盲人用户可以访问界面。最后，一组 3D 打印配件使盲人能够探索电容式触摸屏，而不会意外触发界面上的触摸。我们的技术评估表明，StateLens 可以准确地从固定、手持和网络视频中重建界面；完整的系统用户研究表明，StateLens 成功 enable 盲人用户访问原本无法访问的动态触摸屏。