SIA：语音驱动的沉浸式分析中情境感知意图澄清框架

生成式人工智能的兴起增加了对语音界面的关注。在沉浸式分析中，我们将这一趋势概念化为语音驱动的沉浸式分析。虽然语音界面支持自然交互，但用户，特别是初学者，在表达分析意图和探索数据时仍然面临学习曲线。先前的工作主要通过多模态交互或文本消歧来应对这些挑战。我们引入了一种情境感知的语音驱动沉浸式分析框架（SIA），这是一种利用语音行为传达可操作意图的语音导向方法。该框架（SIA）基于形成性研究、原型开发、三个技术研究和一项用户研究设计。通过从话语中提取语音行为，SIA推断分析任务和具身化倾向，然后将它们与空间、图表和数据上下文整合以生成前馈：潜在动作和结果的预览。形成性研究确定了用户需求。技术研究证明SIA提高了推理质量，实现了情境感知前馈生成。用户研究强调，基于SIA的原型响应性强且直观，前馈帮助用户在数据探索的入门阶段学习。特别是，用户研究确定了参与者参考了哪些前馈元素，以及他们在表达沉浸式分析意图时如何应用它们。我们的关键技术发现强调，嵌入在不确定性估计器中的集成模型提高了准确性并稳定了任务推理。投影器的上下文摘要对于生成情境感知前馈至关重要。基于这些结果，我们讨论了智能语音驱动沉浸式分析的未来研究方向。