我始终对此持怀疑态度：视障用户在电子表格中使用生成式AI的验证实践

文献标题

"I'm Always a Little Skeptical of It: Verification Practices of Blind Users When Working with Generative AI in Spreadsheets"

出版信息

• 主题领域: 盲人用户在电子表格任务中与生成式人工智能（GenAI）交互时的验证实践。
• 关键词: 生成式人工智能，屏幕阅读器，无障碍，盲人用户，电子表格，验证策略，辅助技术，数据分析，AI幻觉，错误检测。

背景与问题

• 问题/挑战: 盲人用户在电子表格任务中验证生成式人工智能（GenAI）输出的准确性时面临重大挑战，尤其是在图表生成和格式化等视觉密集型任务中。现有工具通常无法提供无障碍且可靠的验证工作流。
• 重要性: 在专业和教育环境中，电子表格任务的准确验证至关重要。解决这些挑战可以提高盲人用户的无障碍性和独立性，同时确保AI辅助工作流的可靠性。
• 动机与相关工作: 先前研究探讨了盲人用户的电子表格无障碍性以及生成式人工智能工具提升生产力的潜力。然而，对于盲人用户如何验证生成式人工智能输出，特别是在涉及数值数据和视觉元素的准确性关键任务中，了解仍然有限。

解决方案

• 提出的方法: 本研究调查了盲人用户在使用生成式人工智能处理电子表格时的验证实践，重点关注错误检测和响应策略。
• 创新点:
  1. 对盲人用户在电子表格任务中采用的验证方法进行实证特征化。
  2. 分析反映对生成式人工智能输出持怀疑态度的错误响应工作流。
  3. 提出改进生成式人工智能辅助电子表格工具的设计建议，包括多模型验证和增强解释性功能。
• 程序与关键技术:
  • 对12名使用屏幕阅读器的盲人参与者进行了远程研究。
  • 参与者在生成式人工智能的协助下完成了涉及数据分析和修改的电子表格任务。
  • 通过屏幕录制和定性反馈分析验证策略。
  • 任务包括识别趋势、生成图表、应用公式和格式化电子表格。

结果

• 具体发现:
  • 参与者采用了多种验证方法，包括手动检查（如屏幕阅读器、Excel功能）、同一AI辅助验证（如后续提问、推理功能）、跨AI验证、先验知识以及借助视力正常者的帮助。
  • 错误最常见于视觉任务（18个错误中有15个），如图表生成和格式化，其中一半错误未被发现。
  • 验证工作流是多步骤且复杂的，通常涉及与AI工具和外部帮助的反复交互。
• 相较基线的优势:
  • 研究揭示了盲人用户面临的独特验证挑战，这些挑战与视力正常用户的验证需求存在质的差异。研究识别了可以指导设计更无障碍生成式人工智能工具的策略和空白点。
• 实验/评估:
  • 使用真实世界数据集（如通货膨胀数据、学生成绩表）完成任务。
  • 参与者使用了多种生成式人工智能工具（如ChatGPT、Copilot、Gemini）和屏幕阅读器（如JAWS、NVDA）。
  • 在六个任务中分析了验证方法，并详细记录了错误和工作流。
• 局限性与未来工作:
  • 由于样本量小且参与者的电子表格熟练程度为中级，研究的普适性有限。
  • 参与者对生成式人工智能辅助的电子表格工作流的先前经验有限。
  • 未来研究应包括纵向研究和高熟练度的电子表格用户，以探索不断发展的策略和其他挑战。

总结

本研究探讨了盲人用户如何验证生成式人工智能在电子表格任务中的输出准确性，揭示了多样化的策略，如手动检查、AI辅助验证和借助视力正常者的帮助。视觉密集型任务中错误频繁，验证工作流复杂且多步骤。研究结果强调了改进错误检测功能、多模型验证和生成式人工智能工具中无障碍推理能力的必要性。这些洞见可指导设计更可靠且包容的AI辅助电子表格工作流，从而解决盲人用户在专业和教育环境中的关键无障碍障碍。