A11y-CUA 数据集：计算机使用智能体的可访问性差距特征分析

文献标题

A11y-CUA Dataset: Characterizing the Accessibility Gap in Computer Use Agents

出版信息

• 主题领域: 计算机使用代理（CUAs）中的可访问性与人机交互。
• 关键词: 可访问性，计算机使用代理，盲人和低视力用户，辅助技术，屏幕阅读器，放大镜，交互数据集，任务成功，人机交互，可访问性基准测试。

背景与问题

• 问题/挑战: 当前的计算机使用代理（CUAs）设计旨在模拟视力正常用户的交互方式，忽略了盲人和低视力用户（BLVUs）的需求和实践。现有数据集中没有捕获真实世界中BLVUs的交互数据，无法在辅助技术（AT）条件下评估CUAs。
• 重要性: 填补这一空白对于确保CUAs对所有用户的可访问性至关重要，从而实现公平协作、错误预防以及保护BLVUs的隐私。
• 动机与相关工作: 现有数据集和基准测试主要关注视力正常用户（SUs）以及基于网页的交互，忽视了CUAs在AT环境中的表现。关于BLVUs的现有研究通常孤立地研究特定的交互方法或任务，没有提供全面的数据集来对CUAs进行基准测试。

解决方案

• 提出的方法: 引入A11y-CUA数据集，捕获BLVUs和SUs在桌面和网页应用中完成60项日常任务的多模态交互轨迹。
• 创新点:
  1. 创建包含40.4小时交互数据和158,325个事件的数据集，涉及16名参与者（8名SUs，8名BLVUs）。
  2. 开发了一种计算机使用记录器，用于捕获真实世界交互的同步可重播轨迹。
  3. 对SUs和BLVUs的交互风格进行比较分析，揭示组间和组内的差异性。
  4. 在默认和AT条件下评估最先进的CUAs，揭示显著的可访问性差距。
• 过程与关键技术:
  • 数据收集包括参与者在受控的Windows环境中完成五类任务（浏览与网页、系统操作、文档编辑、工作流程、媒体），共计60项任务。
  • 任务设计反映真实世界场景，具有可验证的终态，并记录多模态交互（如按键、鼠标操作、可访问性设置）。
  • CUAs（Claude Sonnet 4.5和Qwen3-VL-32B-Instruct）在三种条件下进行评估：默认、屏幕阅读器（仅键盘操作）和放大镜（150%视口缩放）。

结果

• 具体发现:
  • SUs以99.1%的成功率完成任务，平均耗时92.3秒，而BLVUs的成功率为84.6%，平均耗时211.1秒。
  • 默认CUA的成功率为78.33%，而屏幕阅读器CUA和放大镜CUA的成功率分别仅为41.67%和28.33%。
  • CUAs在AT条件下的任务完成时间更长，失败率更高，与人类参与者相比表现较差。
• 相较基线的优势:
  • 数据集为在AT限制下评估CUAs提供了独特的基准，突出当前系统在感知、认知和操作方面的差距。
  • 它支持对用户组内和组间多样化交互策略的分析，为改进CUA设计提供了洞见。
• 实验/评估:
  • 对任务的成功率、完成时间和交互方式进行了评估，涵盖参与者和CUAs。
  • 评估指标包括鼠标和键盘操作、快捷键使用以及导航模式。
  • CUAs在默认、仅键盘操作和放大视口条件下进行了测试，并对任务记录进行了人工审查以分析错误。
• 局限性与未来工作:
  • 数据集聚焦于Windows操作系统和闭源应用，限制了其通用性。
  • 未来工作可以扩展到其他操作系统、开源应用以及更复杂或开放式任务。
  • CUAs的改进方向包括与AT同步的感知输入、增强任务状态跟踪以及更强大的错误恢复机制。

总结

A11y-CUA数据集通过捕获SUs和BLVUs在60项任务中的真实交互轨迹，解决了CUAs中的可访问性差距。分析揭示了不同的交互风格，SUs偏向鼠标主导策略，而BLVUs依赖键盘导航和屏幕阅读器反馈。在AT条件下，CUAs表现不佳，存在显著的感知、认知和操作差距。该数据集为基准测试和改进可访问性意识的CUAs提供了基础，促进了所有用户的公平计算机使用。未来方向包括扩展数据集范围以及增强CUA能力以更好地整合AT功能。