Toucha11y：使不可访问的公共触摸屏可访问

文献标题

Toucha11y: Making Inaccessible Public Touchscreens Accessible

文献信息

• 主题领域: 人机交互 (HCI)，无障碍设计，辅助技术
• 关键词: 无障碍，触屏设备，机器人，视觉障碍，用户研究，反向工程，隐私保护，技术评估，个人辅助设备，计算机视觉

研究背景与问题

• 作者发现的问题或挑战:

  • 触屏设备在公共场所广泛应用，但许多公共触屏设备对盲人用户不可访问。
  • 用户需要依靠视觉操作触屏，而缺乏触觉或语音辅助使触屏对盲人极为不友好。
  • 虽然法律（如《美国残疾人法案》）要求部分公共设备具备无障碍功能，但大多数设备仍然不可用，尤其是已经部署的旧设备。
  • 等待设备制造商更新所有触屏设备的可行性较低，亟需短期解决方案。

• 重要性:

  • 在公共场所（如医院、自助终端、餐厅等）无法无障碍使用触屏设备会限制盲人用户的独立性并导致隐私泄露风险。
  • 通过技术手段解决这一问题，可以显著提升盲人用户的自主性和生活质量，减少社会孤立感。

• 研究动机与相关工作:

  • 现有解决方案，如触觉覆盖物和众包标签化方法，存在实施困难、缺乏动态内容支持或使用复杂等缺点。
  • 由于盲人用户普遍使用具有无障碍功能的智能手机，如何利用现有设备并简化交互过程成为研究热点。

解决方案

• 作者提出的方法或解决方案:

  • 开发一个称为 "Toucha11y" 的原型系统，包括机械机器人、智能手机应用和后端服务器。
  • Toucha11y通过硬件与软件的结合，将公共触屏设备的内容传输至用户的智能手机，使用户通过手机使用屏幕阅读器（如VoiceOver和TalkBack）完成交互。
  • 机械机器人通过拍摄触屏内容定位自身，并根据用户选择在触屏设备上触发相应操作。

• 创新之处:

  • 无障碍交互迁移: 将复杂且不可访问的交互过程从公共触屏迁移到智能手机，使盲人能够利用熟悉的设备完成任务。
  • 硬件定位与触发: 使用小型机械机器人高精度定位屏幕并触发触控操作，解决直接交互的困难。
  • 隐私保护: 用户可通过智能手机输入敏感信息，无需依赖他人协助，从而减少隐私泄露的风险。

• 实施步骤与关键技术:

  1. 用户开启Toucha11y应用，将机器人固定到触屏设备上。
  2. 机器人拍摄屏幕进行定位，上传照片至服务器，由计算机视觉算法获取准确坐标。
  3. 用户通过智能手机浏览屏幕内容，完成选择。
  4. 机器人在触屏设备上自动执行选择操作。
  5. 后端服务器实时更新智能手机界面，反映屏幕交互结果。

研究成果

• 具体成果:

  • Toucha11y成功帮助盲人用户独立完成模拟测试任务，如使用自助茶饮点餐设备。
  • 系统平均错误距离达到6.50毫米，触屏激活精度适用于大多数触屏界面。
  • 实验表明，该设备易于学习、适用舒适并具备高交互效率。

• 与现有解决方案相比的优势:

  • 无需装配定制触觉辅助工具，交互过程简化并适用于动态内容界面。
  • 与众包或3D打印解决方案相比，使用场景更广泛且用户自主性更高。
  • 可有效解决隐私泄露问题。

• 实验或评估结果:

  • 盲人用户在实验中能够独立完成任务，平均完成时长为87.2秒。
  • 用户报告该系统能够减少认知负担、保护隐私并显著提升独立性。
  • 技术评估验证了机器人定位、旋转和延展的高精度，同时指出了局限性（如对简单视觉界面的不足）。

• 局限性与未来方向:

  • 局限性:

    • 系统依赖屏幕界面在数据库中预先标注，不支持动态生成界面信息。
    • 机器人体积较大，便携性有待改善。
    • 对视觉特征较少的屏幕定位能力有限。

  • 未来方向:

    • 硬件优化（减小设备大小，改良吸盘设计）以增强用户体验。
    • 集成智能视觉算法以减弱对预标注数据库的依赖。
    • 长期场景部署，收集更广泛的用户反馈与真实使用数据。
    • 探索该技术在其他辅助场景中的扩展可能性，如协助肢体障碍者或操作实物设备。