基于视觉的多模态界面：增强上下文感知系统设计的调查和分类

视频

DOI

近期人工智能，特别是多模态处理技术的激增，通过改变智能系统感知、理解和响应上下文信息的方式（即情境感知），推动了人机交互的发展。尽管有这些进展，但在从多模态数据角度审视这些进展的全面综述方面仍存在显著差距，这对于完善系统设计至关重要。本文通过系统地调查数据模态驱动的基于视觉的多模态接口（VMIs），解决了这一差距的关键方面。VMIs对于整合多模态数据至关重要，使用户意图的解释更加精确，并促进了物理和数字环境中的复杂交互。与之前的任务或场景驱动的调查不同，本研究强调了视觉模态在处理上下文信息和促进多模态交互中的关键作用。采用从整体到细节再回到整体的设计框架，对VMIs进行了分类，为开发有效的、情境感知的系统提供了见解。