FuzzySeek：用于时刻检索的模糊视频查询多模态优化

最近的人工智能进展使得使用自然语言查询从长视频中检索特定时刻成为可能。然而，现有系统可能难以将检索结果与用户意图对齐，因为缺乏用户用简单自然语言表达意图的手段。此外，在交互式帮助用户表达或完善意图方面支持有限。我们提出FuzzySeek，这是一种视频时刻检索界面，通过多模态交互支持模糊或广泛探索性查询的表达和指定。FuzzySeek提出三个关键组件：（1）多模态混合文本查询，以提高表达力，使用户能够在其文本查询中直接锚定多模态内容；（2）主动多模态指导，识别模糊/广泛的术语和短语，并在各模态中展示有针对性的澄清，以提高查询特异性；以及（3）查询回滚，实现迭代来回探索，以启用直接或探索性搜索。通过技术评估、多个说明性用例和一项有11名参与者的用户研究，我们表明FuzzySeek提高了澄清效率，减少了认知负荷，并与不支持此类支持的基线系统相比，为模糊查询提供了更好的视频时刻检索支持。