视频会议中的多模态直接操作：挑战与机遇

视频

支持沉浸式视频会议（VC）的工具最近在各种应用领域获得了普及。体验的核心组件是用多模态互动媒体增强视频通信。虽然现有文献中已经提出了许多用于VC通信的直接操作技术，但这些技术的可用性和偏好从未得到正式研究。在本文中，我们研究了具身交互如何使内容创作民主化，并提出了排练到表演（RtP）框架以及VC系统CLIO，使表演者能够使用语音、手势和外部设备（如平板电脑）直接与他们的媒体进行交互。我们评估了现有VC通信的操作到模态映射，并描述了文献中不存在的新映射。一系列研究表明了将实时直接操作工具整合以创建表现力丰富的增强VC表演的模态偏好和潜力。