天空才是极限：理解生成式AI如何提升屏幕阅读器用户在生产力应用中的体验

研究背景与问题

• 问题与挑战：

  • 盲人用户在使用生产力应用（如文字处理、电子表格和演示工具）时面临显著的可访问性和可用性挑战。
  • 使用屏幕阅读器(SR)的用户经常难以管理视觉信息（例如图表和图形）、获得内容概览、寻找文档中的特定信息，以及与他人协作。
  • 大量功能（如导航、控件访问和文档格式化）对盲人用户存在可访问性问题，这使盲人用户执行生产力任务的效率低于有视觉的同事。

• 重要性：

  • 在工作、教育以及个人场景中，这些工具已成为现代生活不可或缺的一部分。提升其可访问性对于平等就业机会、教育水平提升及增强独立性至关重要。
  • 随着生成式AI（Generative AI, GenAI）的技术发展，有可能为盲人提供自然语言交互和上下文任务理解，从而缓解这些问题。

• 研究动机与相关工作：

  • 虽已有研究探讨盲人用户如何使用虚拟助手（如Siri、Alexa）完成简单任务，但研究重点偏向形象描述和简单操作，而对生产力相关任务的潜在改善研究较少。
  • 虽然个别研究探讨了生产力工具中的某些具体问题，但对于盲人在这些应用中面临问题的全面理解，以及如何优先解决这些问题的研究仍然不足。

解决方案

• 方法与创新：

  • 通过对99名使用屏幕阅读器的盲人用户进行调研，并与16名用户进行深入访谈，研究生成式AI如何提升用户体验。
  • 探讨盲人对生成式AI的态度、潜在用例（如访问图形内容、提取信息、提供任务建议），并分析生成式AI引入后的信任、隐私和工作流集成问题。
  • 提出生成式AI的设计思路，使其与现有SR工作流相辅相成，而不是替代。

• 关键技术：

  1. 任务辅助：通过自然语言生成内容描述（如图表解释），或在请求下直接执行特定任务（如表格排序）。
  2. 信息提取：支持用户从长文档中总结信息、提取结构化数据。
  3. 个性化集成：探索生成式AI与屏幕阅读器的结合、系统级或应用内的适配方法。

• 实施步骤：

  1. 调查界定盲人用户的主要痛点，以及在现有生产力应用中最亟待解决的问题。
  2. 对生成式AI的潜在功能进行用户测试和收集反馈，以定义它如何支持现有的用户工作流。
  3. 探索如何以混合主动权（Mixed-initiative）的模式满足需求，即让用户自主决定何时干预和何时由AI处理任务。

研究成果

• 主要结论：

  • 生成式AI被认为是盲人用户的强大辅助工具，可提升任务的效率并在无须依赖他人帮助的情况下完成复杂任务。
  • 用户认为AI可以显著改善以下方面：可访问内容、编辑与格式化、导航效率、协作时对变更的理解。
  • AI还可支持用户通过键盘快捷键学习SR的高级操作，提升独立性。

• 与现有解决方案的对比：

  • 相比传统SR和其他辅助工具，生成式AI进一步提升了盲人用户的生产力和信息获取能力。特别是对于处理不可访问的内容（如转化为更加易用的格式），生成式AI独具优势。

• 实验或评估结果：

  • 调查结果表明，受访用户对生成式AI的应用表现出广泛的兴趣和积极态度，尤其是在减少完成任务所需时间以及使盲人用户能够更独立地操作生产力应用方面。
  • 访谈进一步明确了用户对生成式AI交互风格的多样化需求（如语音与文本输入结合）。

• 局限性与未来方向：

  1. 局限性：
     • 当前盲人用户对生成式AI的认知和使用经验仍处于初期阶段，未来可能会随技术的成熟和应用场景的扩展而变化。
     • 调研参与者主要来自英语国家，教育程度相对较高，可能未全面反映全球盲人群体的需求。
  2. 未来方向：
     • 进一步验证生成式AI对盲人用户的长远影响，特别是在职业环境中的实际应用。
     • 集成盲人用户反馈和更多非英语地域用户的需求，改善AI模型的训练数据并设计专门的个性化功能。
     • 开发可解释性强的AI任务输出反馈机制，以及用于验证信息正确性的工具以增强用户信任。

通过此研究，可以更好地指导生产力软件和辅助技术设计者开发更具包容性的解决方案，从根本上改善盲人用户的数字化参与体验。