"嘿，仪表盘！"：使用大型语言模型支持仪表盘入职引导中的语音、文本和指向模态

文献标题

"Hey Dashboard!": Supporting Voice, Text, and Pointing Modalities in Dashboard Onboarding using Large Language Models

出版信息

• 主题领域: 基于大型语言模型的可视化仪表盘多模态引导系统。
• 关键词: 仪表盘引导、多模态交互、大型语言模型、语音交互、视觉高亮、上下文帮助、Microsoft Power BI、用户研究、人性化辅助、探索性任务。

背景与问题

• 问题/挑战: 现有的仪表盘引导方法（如静态指南和教程）通常过时、缺乏交互性，且无法适应个体用户的需求或偏好。自动化解决方案缺乏人类专家的上下文感知能力和多模态功能。
• 重要性: 有效的引导对于帮助用户导航和分析复杂仪表盘至关重要，可降低采用门槛并提升组织决策中的可用性。
• 动机与相关工作: 先前的研究探讨了静态引导方法（如引导式游览、注释）和数据可视化的多模态交互，但这些方法在交互性和适应性方面仍然有限。本文基于Dhanoa等人的仪表盘引导过程模型，旨在弥合静态解决方案与动态、人性化辅助之间的差距。

解决方案

• 提出的方法: Diana（Dashboard Interactive Assistant for Navigation and Analysis），一种由大型语言模型驱动的多模态引导助手，集成了语音、文本、鼠标交互和视觉高亮功能，提供动态的、现场的指导。
• 创新点:
  1. 引入结合语音、文本和鼠标交互的多模态引导助手。
  2. 实现上下文帮助菜单和视觉高亮功能，帮助用户在仪表盘中定位。
  3. 集成大型语言模型，提供针对特定仪表盘上下文的人性化引导支持。
• 流程与关键技术:
  • Diana支持三种交互模式：语音（按键说话）、键盘（聊天）和鼠标（套索选择）。
  • 通过文本、音频、上下文菜单和视觉高亮提供反馈。
  • 径向菜单将引导信息按层级组织为“阅读”、“数据”、“交互”和“洞察”等类别。
  • 系统利用Microsoft Power BI仪表盘的元数据和OpenAI API进行自然语言处理和语音合成。

研究结果

• 具体发现: 使用Diana的参与者在任务准确性和完成度上优于依赖静态仪表盘指南的参与者。语音交互和视觉高亮尤其有效，参与者对系统表现出信任和满意度。
• 相较基线的优势: Diana用户正确解决了更多任务，表现出更少的不确定性，而基线组参与者通常依赖手动计算并在仪表盘交互中遇到困难。
• 实验/评估:
  • 采用混合方法的用户研究，共12名参与者（6人使用Diana，6人使用静态指南）。
  • 任务按类型（查找、探索、解释）、基数（单视图/多视图）和难度（简单、中等、困难）分类。
  • 数据通过前测问卷、思维大声法会话和任务后访谈收集。
• 局限性与未来工作:
  • 由于复杂性和不熟悉，径向菜单的使用率有限。
  • 研究仅在单一仪表盘上进行，限制了普适性。
  • 未来工作包括重新设计径向菜单、将Diana扩展到其他仪表盘平台，并开展纵向研究以衡量学习效果的提升。

总结

Diana是一种多模态仪表盘引导助手，结合语音、文本、鼠标交互和视觉高亮功能，提供动态、人性化的指导。在用户研究中，Diana在任务准确性和用户满意度方面优于静态指南，其中语音交互成为首选模式。该系统利用大型语言模型，根据用户查询和仪表盘上下文进行适应性调整，既增强了用户自主性，又保持了可用性。未来工作将集中于改进径向菜单设计、扩展平台兼容性，并进行更广泛的评估，以验证其在不同仪表盘中的有效性。