BrushLens: 无障碍触摸屏界面驱动的硬件交互代理

文献标题

BrushLens: Hardware Interaction Proxies for Accessible Touchscreen Interface Actuation

文献信息

• 主题领域: 人机交互与辅助技术
• 关键词: 触屏设备, 无障碍设计, 交互代理, 计算机视觉, 触摸动作

研究背景与问题

• 发现的挑战:

  • 触屏设备的设计往往假设了用户具有正常的视觉和精细运动能力，这使得具有视觉和运动障碍的人群难以独立操作这些设备。
  • 视觉障碍者在识别屏幕信息、导航和执行精准触控动作方面存在困难；运动障碍者因手颤或肌肉痉挛等问题同样难以执行准确的触控动作。
  • 当前解决方案通常需要对硬件或软件进行修改，而现有大量的遗留屏幕设备不支持此类修改。

• 重要性:

  • 触屏设备已经成为日常生活中的关键交互工具，包括餐厅自助点餐终端和机场值机设备。如果这些设备不可访问，将对这些人群的独立生活和社会参与产生负面影响。

• 研究动机与相关工作:

  • 虽然已有的无障碍设计尝试通过软件改造或引导方式改善触屏可用性，但仍需要用户高精度操作或进行大规模硬件改动。
  • 作者受到交互代理和无障碍工具相关研究的启发，提出了将硬件代理作为解决触屏不可访问性的创新方式，减少用户工作量并提升交互准确性。

解决方案

• 提出的解决方案:

  • BrushLens：一种硬件交互代理系统，集成在智能手机外壳中，可以自主感知触屏设备界面，提供导航指导，并替用户执行精准的触控动作。

• 创新点:

  • BrushLens不需要对现有触屏设备硬件或软件进行改动，而通过硬件代理实现无障碍交互。
  • 引入了两种可互换的触控执行器（电磁推杆和自动点击器），以适应不同类型的触屏技术（电容屏、电阻屏以及物理按钮）。

• 实施步骤与关键技术:

  • 界面反向建模：系统维护界面布局的模型，包括按钮位置、UI元素类型及界面状态转化。
  • 设备定位：利用用户智能手机的摄像头、IMU传感器和暗场传感器实时定位设备位置。
  • 触控执行：结合位置数据，选择适用的执行器来模拟触控动作以点击目标区域。
  • 无障碍界面支持：在智能手机上以可访问形式呈现界面信息，支持视觉和运动障碍者通过导航和反馈完成交互。

研究成果

• 具体成果:

  • BrushLens使视觉障碍用户能够使用此前不可访问的触屏设备完成导航和操作，同时有效减少了运动障碍用户的误触和无效触控。
  • 技术评估表明，BrushLens的触控执行器在静止设备上的触控准确度可达100%，在用户移动设备时，其准确率分别为电磁推杆74.2%、自动点击器88.3%。

• 优势对比:

  • 与现有需要改动硬件或软件的解决方案相比，BrushLens对触屏设备零改动要求，兼容性更强。
  • 自动点击器的触控误触率显著低于电磁推杆，也更加适配用户的快速移动操作。

• 用户实验结果:

  • 通过10名参与者的试验，视觉障碍者得以独立完成此前无法完成的界面导航和交互任务。
  • 对于运动障碍者，BrushLens显著减少了错误触控的发生率，并为低敏感手指用户提供了触觉反馈支持。

• 局限性与未来方向:

  • 当前设备在速度和便携性方面仍需优化，以更好地适应用户的不同需求场景。
  • 带有预测算法的触控决策优化、扩展支持更多手势（如滑动和放大缩小）以及界面自动识别功能可作为未来改进方向。

总结

BrushLens通过硬件交互代理的理念为触屏设备无障碍设计提供了一种新的解决方法，消除了传统方法对硬件改动的需求，同时增强了用户交互过程的独立性和信心。在改进设备响应速度和优化系统结构后，它有潜力成为多场景下实际可用的无障碍互动工具。