FetchAid：通过深度学习增强的触摸屏引导、错误恢复机制和基于AR的搜索支持，使包裹储物柜对盲人和低视力人群更易访问

文献标题

FetchAid: Making Parcel Lockers More Accessible to Blind and Low Vision People With Deep-learning Enhanced Touchscreen Guidance, Error-Recovery Mechanism, and AR-based Search Support

文献信息

• 主题领域: 辅助技术与人机交互
• 关键词: 包裹递送, 盲人和低视力人群, 无障碍性, 移动设备, 物体检测, 计算机视觉, 增强现实, 辅助技术, 触摸屏指南, 错误恢复机制

研究背景与问题

• 发现的问题或挑战:

  1. 快递柜在最后一公里物流递送中越来越流行，然而，当前的快递柜设计在无障碍性上存在重大挑战，特别是在触摸屏交互、查找打开的储物格以及安全导航方面。
  2. 当前的解决方案（如语音提示或盲文键盘）要么成本高，要么对于大多数盲人和低视力用户无效，且现有的研究未能在动态多阶段场景中提供全面的无障碍性支持。

• 重要性:

  1. 随着电子商务和包裹送递需求的增加，提高快递柜对盲人和低视力人群的可用性在社会公平性和资源高效利用方面具有重要价值。
  2. 通过技术创新，可以显著提升盲人和低视力用户在公共设施上的包裹领取体验，满足实际生活需求。

• 研究动机与相关工作:

  1. 现有方法如基于计算机视觉或众包的辅助工具，以及基于穿戴设备的物体识别技术，均存在高硬件需求、低环境适应性或缺乏实时误操作恢复能力的局限。
  2. 本研究希望通过一个系统性的、一体化的设计，提供一个不依赖额外硬件且具有交互指导和精准导航能力的解决方案。

解决方案

• 提出的方法: 开发了一款独立智能手机应用程序 FetchAid，其通过深度学习增强的实时触摸屏交互指导、错误恢复机制与基于增强现实的搜索支持功能，帮助盲人和低视力用户从快递柜中顺利领取包裹。

• 创新之处:

  1. 基于深度学习的触摸屏手指和按键检测，提供实时语音指导和错误恢复机制。
  2. 利用增强现实技术，通过平面射线检测和视觉惯性测距，实现用户与目标储物柜的空间位置校准与语音导航。
  3. 自动化的二维码扫描功能，简化用户输入和操作环节。
  4. 专门设计的触摸屏交互反馈与导航安全功能，避免碰撞和误关储物柜门。

• 实施步骤与关键技术:

  1. 触摸屏交互阶段: 使用深度学习模型检测触摸屏和用户手指，通过实时语音反馈指导用户点击正确的按钮，提供错误检测与恢复机制。
  2. 开门搜索阶段: 利用OCR识别屏幕上的储物柜位置信息，通过AR导航引导用户到达打开的储物柜并避免潜在的碰撞。
  3. 系统整合与部署: 使用手机的ARKit实现实时用户定位，结合TensorFlow Lite优化目标检测网络以便在移动设备上高效运行。

研究成果

• 具体成果:

  1. FetchAid显著提高了盲人和低视力用户操作快递柜触摸屏和找到打开储物柜门的成功率。
  2. 实验显示其显著减少了用户在错误操作时的恢复时间和心理压力，提升了用户体验。

• 与现有解决方案的对比优势:

  1. 不依赖额外的穿戴设备或昂贵的硬件。
  2. 实现了全面而定制化的每个交互步骤的支持，而非单一场景优化。

• 实验或评估结果:

  1. 研究共招募了12名盲人和低视力用户，结果显示：
     • 触摸屏操作成功率提高了30%。
     • 开门搜索任务成功率提高了11%。
  2. NASA TLX评估显示，FetchAid显著降低了任务的精神与体力负担以及使用过程中产生的挫败感。
  3. 技术评估中的目标检测模型在数据增强下的准确率提升至97.7%，AR导航精准度误差在10厘米内。

• 局限性与未来方向:

  1. 系统在低光条件下的图像检测性能有待提升，可通过集成图像增强技术改善。
  2. 增强对于用户个性化的反馈机制设计，以更好适应不同用户群体的操作习惯。
  3. 扩展应用程序至其他公共设备（如自动售货机、智能诊断站等）以及其他手机操作系统。
  4. 进一步开展长期纵向研究，观察用户的学习曲线和长期适应效果。

该研究通过创新的工具设计为盲人和低视力人群提供了实用的包裹领取解决方案，展示了深度学习和增强现实技术在无障碍科技中的潜力。这为提高人机交互技术的包容性与社会影响力奠定了重要基础。