A11yExtensions：增强移动AI辅助技术的无障碍扩展

文献标题

A11yExtensions: Accessibility Extensions to Augment Mobile AI Assistive Technology In-Situ

出版信息

• 主题领域: 通过现场扩展增强盲人用户的移动AI辅助技术。
• 关键词: 无障碍性，辅助技术，AI，移动自动化，共同设计，扩展，现场干预，盲人用户，可用性，定制化。

背景与问题

• 问题/挑战: 现有的移动AI辅助技术功能有限，缺乏定制化，无法有效满足特定用户需求。无障碍领域的研究进展往往与商业应用脱节，导致可用性和功能性存在空白。
• 重要性: 填补这些空白可以通过使辅助技术更适应性、更高效、更可靠来改善盲人用户的日常生活。
• 动机与相关工作: 之前的研究开发了诸如盲人摄影指导和AI验证等功能，但这些功能尚未集成到广泛使用的商业应用中。HCI领域的扩展和自动化工具在定制现有系统方面显示出潜力，但其在无障碍领域的应用仍未充分探索。本研究旨在通过引入一个框架，将新功能集成到现有工作流程中，弥合这些差距。

解决方案

• 提出的方法: A11yExtensions是一组现场附加功能，利用移动自动化工具（如iOS快捷指令）为现有辅助技术增加新功能。
• 创新点:
  1. 提出了移动无障碍扩展的设计空间。
  2. 实现了三个共同设计的附加功能：相机瞄准、交叉检查和图像质量。
  3. 从与盲人无障碍专业人士的长期共同设计过程中获得的发现。
  4. 展示了移动自动化作为辅助技术定制的新范式。
• 流程与关键技术:
  • 与两位盲人无障碍顾问进行四次共同设计会议。
  • 使用iOS快捷指令和App Intents开发三个附加功能：
    • 相机瞄准: 提供语音指导以将物体居中于相机框架中。
    • 交叉检查: 通过比较多个模型的输出验证AI生成结果。
    • 图像质量: 识别照片中的问题，如模糊或光线不足。
  • 通过用户测试和迭代优化评估附加功能。

结果

• 具体发现:
  • 附加功能提高了任务效率和可用性，例如更快的拍照和错误验证。
  • 共同设计者认可附加功能提供的灵活性和定制化。
  • 发现隐私和入门挑战，需要进一步优化。
• 相较基线的优势:
  • 实现了当前商业应用中不可用的功能，如多模型验证和相机瞄准。
  • 减少了诸如交叉检查AI输出等任务的手动操作。
• 实验/评估:
  • 与两位盲人专业人士进行了四次共同设计会议。
  • 分别测试了附加功能及其组合工作流程（如准备社交媒体帖子）。
  • 评估了可用性、效率和用户偏好。
• 局限性与未来工作:
  • 仅限于两位共同设计者；需要更广泛的验证。
  • 对于新手用户来说，设置和入门仍然复杂。
  • 当前实现受限于iOS平台限制。
  • 未来工作包括扩展到其他平台、改善入门流程以及探索终端用户编程以实现定制化。

总结

A11yExtensions提出了一种通过现场附加功能增强移动AI辅助技术的新方法，解决了可用性、准确性和定制化方面的空白。通过与盲人无障碍专业人士的共同设计过程开发，该系统包括三个已实现的功能：相机瞄准、交叉检查和图像质量。这些附加功能在实际任务中表现出更高的效率和适应性，尽管在入门和可扩展性方面仍存在挑战。本研究强调了移动自动化在提升无障碍性方面的潜力，并为辅助技术的未来研究和开发奠定了基础。