自从你离开后：增强上下文感知转录以重新参与沉浸式VR会议

研究背景与问题

• 发现的问题或挑战: 作者发现虚拟现实（VR）和混合现实（MR）会议在提供沉浸式体验的同时，用户可能因内部或外部因素而中断或分心。这种中断可能导致用户错失关键内容，并降低参与度。此外，当前设计的VR会议界面，例如固定在桌面上的转录面板和绑定到头像的字幕，存在挑战：桌面固定面板容易打断社交参与，而头像绑定的字幕则无法提供中断期间的上下文。

• 重要性: 随着远程工作和虚拟协作需求的增加，如何在VR会议中保持用户的沉浸感和社会存在，同时帮助用户在中断后快速重新参与，已经成为重要问题。这关系到虚拟会议的平台设计能否成为传统面对面会议的有效替代品。

• 研究动机与相关工作: 研究动机在于解决VR会议环境中的参与性问题及中断后的重新参与。之前的研究集中于视频会议的转录界面设计（如会议摘要、实时交互工具）以及VR中的分心管理，但未探索如何在VR会议中结合社会存在与重新参与的需求。

解决方案

• 提出的解决方案: 作者设计并实现了一种新型的适应性avatar固定转录界面——EngageSync。该系统通过实时转录和上下文生成的总结，在用户参与会议时提供实时信息，在用户重新加入会议时显示中断期间的摘要，从而帮助用户快速重新参与，同时保持与组员之间的社交存在感。

• 创新之处:

  • 根据用户的参与状态自动调整转录模式（实时转录和简洁摘要）。
  • 转录面板动态附加到与用户注视的虚拟角色（avatar），而非静态放置在桌面。
  • 使用基于凝视和手势的触发机制以减少干扰，支持按需的信息访问。
  • 转录内容依赖语言模型（GPT-4 Turbo）生成关键摘要，帮助用户快速抓住要点。

• 实施技术与步骤:

  1. 实时转录与摘要生成： 使用Google STT进行音频转录，并通过GPT-4 Turbo生成15字的简洁摘要。
  2. 用户关注跟踪与界面交互机制： 使用Meta Movement SDK监测用户的凝视方向，并检测用户是否对avatar进行注视或手势触发转录面板。
  3. 两种模式切换：
     • Engagement Mode: 当用户关注某个avatar时，显示实时转录或其最近的摘要。
     • Re-engagement Mode: 如果用户重新加入，则为曾发言过的所有avatar生成中断期间的总结，并在被阅读后自动停用。
  4. 多用户协作： 使用Photon网络搭建一个实时多用户平台，确保音频、avatar动作以及转录和摘要的共享与同步。

研究成果

• 具体成果:

  • 更高的社会存在感：与传统桌面固定接口相比，EngageSync显著提升了凝视avatar的时间和社交分配感。同时用户对avatar的专注时间更高。
  • 更快的重新参与：与其他接口相比，EngageSync显著缩短了重新参与的时间，尤其是在中等规模组群中效果更明显。
  • 信息回忆效果：EngageSync在帮助用户记住讲话者的关键发言方面表现最佳，尤其是在中等规模组群中，与较少讲话者的关联记忆效果最佳。

• 优势:

  • 在社会存在感（Co-presence）、注意分配（Attentional Allocation）以及重新参与时间上均优于桌面固定面板和传统的avatar绑定字幕。
  • 提供自动生成的简洁摘要，有效解决了常规接口在复杂对话环境中的信息过载问题。

• 实验或评估结果:

  • 两个实验情境比较了三种界面（EngageSync、Table-fixed、Avatar-fixed），并记录了社会存在感、重新参与时间及用户记忆表现。
  • 在中规模组群中，EngageSync显著超过其他界面（如在重新参与时间上的效果p<0.001，数值显著）。

• 局限性与未来方向:

  • 局限性：
    • 图文面板的固定位置可能并不适合所有用户，希望未来能测试不同位置的效果。
    • 本次实验使用的是预先录制的会议脚本而非实时对话，可能影响用户互动性和社会存在的评估。
    • 转录系统准确率受限，特别是当语音识别错误时会影响总结内容的质量。
  • 未来研究：
    • 扩展至实时交互的实验场景，观察用户在面对面对话时如何重新参与。
    • 探索不同面板位置或动态界面排布对用户体验的影响。
    • 改善语言模型生成摘要的准确性，增强系统的可靠性。

以上分析全面总结了该研究的背景、方法和结果，同时突出了关键洞察与问题应对策略。这项工作在增强沉浸式VR会议的有效性方面有着较大的研究价值。