面向视障人士基于语音计算机使用代理的独立在线购物研究

文献标题

Toward Independent Online Shopping of the Visually Impaired Through Voice-based Computer-Using Agent

出版信息

• 主题领域: 通过基于语音的计算机使用代理（Computer-Using Agents, CUA）提升视障用户的在线购物可访问性。
• 关键词: 视障用户、在线购物、语音交互、计算机使用代理（CUA）、大型多模态模型（Large Multimodal Models, LMM）、可访问性、巫师实验（Wizard-of-Oz study）、认知负荷、以残障为中心的设计、辅助技术。

背景与问题

• 问题与挑战: 视障用户在在线购物中面临显著障碍，包括对视觉内容的依赖、不充分的替代文本以及复杂的图形用户界面（GUI）。现有辅助技术无法完全支持用户在此类环境中的独立导航和决策。
• 重要性: 在线购物为视障用户提供了比实体店更具可访问性的替代方案，但当前的局限性阻碍了他们的自主性，并增加了认知和心理负担。
• 动机与相关研究: 之前的研究集中于屏幕阅读器、OCR和语音助手等辅助技术，这些技术改善了功能性可访问性，但未能解决复杂GUI导航和动态交互的问题。大型多模态模型（LMM）和计算机使用代理（CUA）的最新进展为视障用户的独立在线购物提供了新的可能性，但其在这一背景下的应用仍有待深入探索。

解决方案

• 提出的方法: 通过基于语音的CUA系统（Operator）进行半自动巫师实验，探索视障用户如何完成在线购物任务，并通过访谈收集定性洞察。
• 创新点:
  1. 首次针对基于LMM的CUA在视障用户在线购物中的应用进行实证研究。
  2. 识别用户策略和需求，包括趋势信息获取、美学印象以及认知负荷管理。
  3. 提出以残障为中心的在线购物环境设计建议。
• 流程与关键技术:
  1. 半自动巫师实验设置，由研究人员中介语音转文本输入至CUA。
  2. 参与者仅通过语音交互探索、比较和选择商品。
  3. 数据收集包括通信日志和访谈记录，并进行主题分析。

结果

• 具体发现:
  • 用户寻求趋势信息、美学印象以及详细的颜色描述，以弥补视觉线索的缺失。
  • 更倾向于简洁摘要、有限选项（3-5项）以及主动指导，以管理认知负荷。
  • 在减少不确定性方面高度依赖社会证明（如评论、流行度）。
  • 重视对选择的双重检查以避免错误。
• 相较基线的优势: 支持在复杂在线购物任务中的独立导航和决策，超越传统需要外部支持的辅助技术。
• 实验与评估:
  • 12名具有后天视障的参与者完成了2小时20分钟的实验，包括50分钟的购物任务和1小时的访谈。
  • 数据包括226条通信日志和13小时的音频访谈记录，采用主题编码分析（Fleiss’s Kappa = 0.865）。
• 局限性与未来工作:
  • 仅限于具有后天视障和在线购物经验的参与者。
  • 在受控实验室环境中进行，未能反映真实世界的环境因素。
  • 未来工作应涵盖多样化的残障类型、不同的数字素养水平以及真实世界的场景。

总结

本研究探讨了视障用户如何通过语音与计算机使用代理（CUA）交互完成在线购物任务。研究发现了用户在缺乏视觉和社会线索情况下的补偿策略、认知负荷管理方法以及减少不确定性的手段。研究提出了针对包容性、以残障为中心的在线购物环境的设计建议，强调趋势信息、美学印象、简洁摘要和主动指导。通过支持独立导航和决策，该研究突出了基于LMM的CUA在视觉密集领域提升可访问性的潜力。未来工作应关注更广泛的用户群体和真实世界条件。