未能看到全貌：视障人士使用AI共同制作实体DIY辅助技术的挑战与机遇

文献标题

Not Seeing the Whole Picture: Challenges and Opportunities in Using AI for Co-Making Physical, DIY-AT for People with Visual Impairments

出版信息

• 主题领域：基于人工智能辅助的物理DIY辅助技术（DIY-AT）共创，用于支持视障人士。
• 关键词：辅助技术、DIY-AT、视障、大型语言模型、触觉工具包、AI辅助设计、可访问性、共创、多模态AI、空间指导。

背景与问题

• 问题/挑战：现有的辅助技术（AT）通常是标准化的，无法满足视障人士（PVI）多样化且特定情境的需求。DIY-AT提供了定制化的可能性，但由于技术障碍、缺乏信心以及工具的不可访问性，仍然难以实现。此前的工具包范围有限且需要技术专业知识。
• 重要性：解决这些问题可以赋能视障人士创建定制化解决方案，降低辅助技术的弃用率，并促进独立性和创造力。
• 动机与相关工作：以往研究探索了DIY-AT和AI辅助工具，但主要集中于与专家共设计或基于软件的解决方案。尚缺乏关于AI如何支持视障人士独立创建物理、触觉DIY-AT解决方案的研究。

解决方案

• 提出的方法：开发一个AI辅助的触觉DIY-AT工具包，包括基于大型语言模型（LLM）的AI助手（A11yMaker AI）以及触觉感知和反馈模块，以支持视障人士进行头脑风暴、配置和组装定制化辅助技术解决方案。
• 创新点：
  1. 首次将基于LLM的AI助手集成到触觉工具包中，用于支持视障人士创建物理DIY-AT解决方案。
  2. 从九位视障参与者的研究中获得关于其策略、挑战和使用案例的实证洞察。
  3. 提出改进AI辅助DIY-AT的设计建议，包括空间/视觉支持和错误缓解策略。
• 流程与关键技术：
  • 工具包包括六个感知模块（如摄像头、距离、运动）和四个反馈模块（如振动、声音）。
  • A11yMaker AI抽象技术细节，支持自然语言交互，并提供关于模块选择、配置和调试的指导。
  • 通过一项包含九位视障参与者的用户研究评估工具包的可用性和有效性，参与者创建了14个定制化DIY-AT解决方案。

结果

• 具体发现：
  • 参与者创建了14个DIY-AT解决方案，解决了导航、物体搜索和环境感知问题。
  • AI助手充当导师、工具包专家和头脑风暴伙伴，降低了技术障碍。
  • 挑战包括AI的幻觉问题、缺乏主动澄清以及空间/视觉指导不足。
• 相较基线的优势：
  • 工具包使视障人士能够独立进行头脑风暴和实施解决方案，而此前仅限于与专家共设计或基于软件的方法。
• 实验/评估：
  • 一项基于实验室的150分钟研究，涉及九位视障参与者（平均年龄49.6岁），采用思维大声说协议、访谈和基于任务的评估。
  • 参与者使用工具包解决个人可访问性挑战，研究人员观察交互并分析转录和日志数据。
• 局限性与未来工作：
  • 实验室环境限制了真实场景的适用性；参与者建议在家庭环境中测试工具包。
  • 工具包功能受限于预定义的事件类型；未来工作可探索基于AI的代码生成以及与物联网设备的集成。
  • AI助手缺乏空间感知的多模态输入；未来设计可结合增强现实（AR）或基于摄像头的反馈。

总结

本文介绍了一种AI辅助的触觉DIY-AT工具包，旨在赋能视障人士创建定制化辅助技术。通过与九位参与者的研究，该工具包展示了降低技术障碍和促进独立性的潜力，使其能够创建14种多样化的解决方案。然而，AI的幻觉问题、空间指导不足以及工具包功能的局限性凸显了改进的方向。未来工作应聚焦于整合多模态AI以增强空间感知、扩展工具包功能，并在真实场景中进行测试。这项研究为使DIY-AT对视障人士更加可访问和适应性强做出了贡献。