ChatDirector：通过空间感知场景渲染和语音驱动布局转换增强视频会议

文献标题

ChatDirector: Enhancing Video Conferencing with Space-Aware Scene Rendering and Speech-Driven Layout Transition

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，远程视频会议系统设计
• 关键词: 视频会议, 3D人像头像, 远程临场感, 注意切换, 深度图, 深度估计, 机器学习, 视频通信, 协作工作, 增强沟通

研究背景与问题

• 发现问题或挑战:
  1. 当前远程视频会议系统（RVCS）缺乏面对面会议特有的临场感与视觉提示。
  2. 传统2D网格布局视频会议缺乏空间感，用户需要付出较多的认知努力来解读会议信息，导致注意力下降和沟通效率降低。
  3. 现有的摄像头技术和增强视觉提示虽然提供了一定的改进，但通常局限于2D表达，或需要昂贵的硬件支持。
• 重要性: 视频会议在工作、教育和社交活动中已成为普遍工具，但其用户体验较难与面对面会议匹敌，从而制约了沟通效率与参与者的专注度。
• 研究动机与相关工作:
  1. 近年来的研究聚焦于恢复视频会议中的视觉提示（如眼神接触和头部方向）以及空间信息，但多限于技术原型或者依赖于昂贵硬件。
  2. 本研究希望利用常规的计算设备（例如带普通摄像头的笔记本）设计解决方案，提升视频会议的空间感和交流流畅性。

解决方案

• 方法或解决方案:
  1. 提出一种轻量级的视频会议系统 ChatDirector，使用普通2D屏幕和RGB摄像头，构建具有空间感的共享虚拟3D会议场景。
  2. 提出一种基于语音驱动的决策树布局算法（Speech-Driven Layout Transition），自动调整虚拟场景的布局与头像动作，模拟注意力转换和自然对话流。
  3. 开发实时的RGB视频到3D人像重建技术，生成3D人像头像并动态渲染会议场景。
• 创新之处:
  • 在不依赖特定硬件（如深度摄像头或头戴设备）的基础上实现空间感可视化。
  • 设计了结合语音检测的动态布局转换算法以促进自然注意力过渡。
  • 提出了与传统2D网格不同的3D虚拟会议布局，增强了临场感。
• 实施步骤与关键技术:
  1. 空间场景渲染管道: 从RGB摄像头获取视频流，基于轻量级深度估计模型实时生成深度图以构建用户的3D人像。
  2. 语音驱动布局算法: 根据实时检测的语音活动和关键词确定演讲状态（安静、面向全员讲话、一对一交谈等），并由决策树模块动态调整布局与人像动作。
  3. 系统集成: 使用WebRTC进行实时流媒体传输，通过Web Speech API进行语音转录。

研究成果

• 具体成果:
  1. 构建了一种无需特定硬件即可实现 3D 虚拟会议体验的系统原型。
  2. 用户在定量实验中报告了显著更高的沟通流畅性和用户参与度。
  3. 提供了丰富的应用场景，如头脑风暴、在线辩论、教学办公时间等。
• 与现有解决方案的优势比较:
  1. 在常规设备上实现无需昂贵硬件的3D空间感，并与XR系统如Meta Horizon Workrooms兼容。
  2. 自动化与智能化程度高，可以动态捕捉与适应语音活动。
• 实验或评估结果:
  1. 与传统的2D视频会议系统（如Google Meet）的用户研究对比显示，ChatDirector 更高效地支持注意力切换和提升会议的互动性。
  2. 系统的布局算法在输出准确性方面表现优秀（Layout State准确率达94.79%，Avatar State准确率达98.80%）。
  3. 用户在参与度、现场感和响应性方面为系统给出了更高评分。
• 局限性与未来方向:
  1. 当前3D头像重建仅限于RGB摄像头的视野，无法呈现完整的3D人物全貌。
  2. 决策树布局算法对语义理解有限，将来可通过NLP和LLM技术增强语义分析。
  3. 在大规模会议场景中，需进一步探索如何整合分组讨论、用户锚定与多任务应用的可视化支持。
  4. 可以进一步研究用户个性化定制的平衡，以及与更多会议元素（例如共享屏幕与实时统计）的整合。