VizAbility: 基于大语言模型的图表无障碍交互增强

视频

DOI

传统无障碍方法如替代文本和数据表通常无法充分体现数据可视化的潜力。基于键盘的图表导航已成为一种潜在的解决方案，但高效的数据探索仍然具有挑战性。我们提出VizAbility，这是一个通过交互式对话丰富图表内容导航的新颖系统，使用户能够使用自然语言查询视觉数据趋势。VizAbility适应用户的导航上下文以提高响应准确性，并促进基于语音命令的图表导航。此外，它可以处理上下文信息查询，专为满足视障用户的需求而设计。我们设计了一个基于大语言模型(LLM)的流程来解决这些用户查询，利用图表数据和编码、用户上下文以及外部网络知识。我们进行了定性和定量研究来评估VizAbility的多模态方法。我们根据结果讨论了进一步的机会，包括改进基准测试、整合视觉模型以及与可视化工作流程的集成。