从挣扎到成功：面向屏幕阅读器用户的计算机使用情境感知指导系统

文献标题

From Struggle to Success: Context-Aware Guidance for Screen Reader Users in Computer Use

出版信息

• 主题领域: 屏幕阅读器用户在数字系统导航中的辅助技术。
• 关键词: 屏幕阅读器用户, 无障碍, 辅助技术, 大型语言模型, 上下文感知系统, 任务指导, 包容性计算, 用户研究, NVDA, 自适应支持。

背景与问题

• 问题/挑战: 屏幕阅读器（SR）用户在导航以视觉为主的数字界面时面临重大挑战，需要记忆快捷键并理解听觉输出。现有的支持系统（如教程和人工协助）要么难以访问，要么缺乏实时可用性。目前的人工智能助手无法满足SR用户的特定需求，依赖视觉描述并需要用户提供大量输入。
• 重要性: 解决这些挑战对实现视障人士在教育、就业和社会参与方面的平等访问至关重要。
• 动机与相关工作: 之前的研究探索了无障碍教程、人力驱动的问答服务和基于AI的无障碍覆盖，但这些方法在可扩展性、实时支持或SR特定可用性方面存在局限性。大型语言模型（LLMs）的进步为实时、上下文感知的辅助提供了潜力，但现有实现并未针对SR用户进行优化。

解决方案

• 提出的方法: AskEase，一种基于LLM的按需助手，旨在通过利用多种上下文来源，为计算机使用提供逐步、SR友好的指导。
• 创新点:
  1. 自动收集和管理丰富的上下文信息（如屏幕状态、屏幕阅读器轨迹和软件文档）。
  2. 提供符合用户偏好、最小化工作流中断的上下文感知、SR特定指导。
  3. 集成自适应支持和无缝交互功能，实现高效的寻求帮助体验。
• 过程和关键技术:
  • 上下文工程: 捕获环境（如屏幕截图、焦点高亮）、知识（如通过检索增强生成获取的软件文档）和对话上下文（如聊天记录）。
  • 交互设计: 功能包括上下文问答、自适应支持和屏幕描述，均可通过键盘快捷键访问。
  • 实现: 作为NVDA插件开发，使用OpenAI GPT-5进行推理和规划。

结果

• 具体发现:
  • 在12个应用程序的45项任务中实现了96.6%的任务成功率，每次查询的平均延迟为10.06秒。
  • 在一项有12名SR用户参与的用户研究中，参与者使用AskEase平均完成1.5项任务，而使用基线工具仅完成0.5项任务。
  • AskEase降低了感知工作负荷，包括身体需求（−1.25）、努力程度（−1.42）和挫败感（−1.58），同时提高了感知性能（+1.50）。
• 相较基线的优势:
  • 提供了比基线工具的冗长或以视觉为导向的响应更无障碍的逐步指导。
  • 通过无缝、原地的辅助最小化了工作流中断。
• 实验/评估:
  • 在12个应用程序和45项任务中的鲁棒性测试。
  • 采用Microsoft Word和Excel进行任务评估的12名参与者的组内用户研究。
  • 指标: 任务完成率、NASA-TLX工作负荷评分和定性反馈。
• 局限性与未来工作:
  • 目前仅限于Windows上的NVDA；未来工作可以扩展到其他平台和辅助技术。
  • 在环境上下文不完整和指导中出现幻觉方面存在挑战。
  • 需要个性化、主动澄清机制和隐私保护设计。

总结

AskEase是一种基于LLM的上下文感知助手，旨在支持屏幕阅读器用户导航数字系统。通过整合多种上下文来源并提供SR特定的逐步指导，它显著提高了任务完成率并降低了感知工作负荷。一项用户研究证明了其在增强视障用户无障碍性和可用性方面的有效性。未来的工作将专注于扩展平台支持、改进环境感知能力以及解决隐私问题，从而进一步赋能SR用户在教育、就业和日常计算中的应用。