360º视频中的动态视野限制：对齐光流和视觉SLAM以减轻VIMS

文献标题

Dynamic Field of View Restriction in 360° Video: Aligning Optical Flow and Visual SLAM to Mitigate VIMS

文献信息

• 主题领域: 虚拟现实 (VR)、用户体验、视觉运动病（VIMS）缓解
• 关键词: 视觉诱发运动病 (VIMS)，360度视频，光流，视觉SLAM，视场（FoV）限制，虚拟现实 (VR)，用户研究

研究背景与问题

• 发现的主要问题或挑战：

  1. 随着基于头戴显示设备 (HMD) 的虚拟现实的普及，许多用户在使用过程中出现了由视觉诱发的运动病（VIMS），这限制了用户体验并阻碍了VR的广泛应用。
  2. 当前已有的研究表明，通过限制视场 (Field of View, FoV) 可以缓解VIMS，但这会牺牲用户的沉浸感。
  3. 针对预渲染格式如360°视频，现有的VIMS缓解方法（如视场限制）尚不兼容。

• 重要性： VIMS影响了高达67%的成人用户（尤其女性更容易受到影响），包括恶心、眩晕和身体不适等症状，这极大地限制了VR技术的潜力和普及应用。

• 研究动机与相关工作： 作者希望探究如何在360°视频中动态调整FoV，以减轻由快速运动场景引起的VIMS，并同时尽可能保留用户的沉浸感。之前的研究虽尝试了光流算法与SLAM技术，但缺乏全面系统的方案在360°视频中的应用。

解决方案

• 方法或解决方案： 作者提出了一个动态FoV限制技术，结合以下两种信息：

  1. 视觉SLAM (Simultaneous Localization and Mapping) 技术，用于识别视频中的相机运动状态（静止或移动）。
  2. 光流(Optical Flow) 分析，通过捕捉用户外围视觉区域中的运动模式，动态调整FoV。

• 创新之处：

  1. 在360°视频中首次整合了视觉SLAM和周边光流数据，实现动态调整FoV。
  2. 与其他研究不同，此方法可仅在引发VIMS的场景中触发，减少对用户体验的干扰。
  3. 系统设计使其适用于不同的视频场景（比如静止镜头、慢速场景和快速移动场景）。

• 实施步骤与关键技术：

  1. 光流计算：
     • 预处理视频以减少光流计算负载，使用密集的Gunnar Farnebäck算法计算每像素的光流强度。
     • 对光流数据进行网格化和降采样，记录至CSV文件。
  2. 视觉SLAM：
     • 使用OpenVSLAM对360°视频进行跟踪和定位。
     • 通过特征提取生成运动分类 ("静止"、"移动")。
  3. FoV限制实现：
     • 在Unity中实现动态FoV限制，分为中心显示区域、过渡区域及外围遮挡区域。
     • 使用光流和运动分类数据调整FoV大小（在40°~90°间动态变化），并平滑过渡以减少用户感受到的突兀感。

研究成果

• 具体成果：

  1. 动态FoV方案能有效减轻VIMS症状，与固定FoV策略相比，动态FoV在减少VIMS的同时保持更高的沉浸感。
  2. 用户在“快速”场景中明确受益于动态FoV的VIMS缓解效果。

• 与现有解决方案的优势：

  1. 动态FoV仅在必要时触发FoV限制，与固定FoV策略相比减少了对用户的视觉干扰。
  2. 系统设计使得360°视频仍然保持较高的用户沉浸感，用户能够在合适场景中自由探索。

• 实验与评估结果：

  • 共23名参与者的用户研究显示：
    • 在快速移动场景中，动态FoV限制与固定FoV限制表现相当，有效缓解了VIMS；
    • 与固定FoV相比，动态FoV在保持沉浸感上具有显著优势。
    • 半结构化访谈显示大多数用户接受动态FoV调整并认为其是视频叙事的一部分，但部分用户对其频繁变化感到困惑。

• 局限性与未来方向：

  1. 研究限制：
     • 仅测试了一个商业360°视频，尽管该视频场景多样，但结果可能无法完全推广到其他类型视频。
     • 系统目前仅对内容光流反应，未整合用户身体运动数据。
  2. 未来方向：
     • 扩展该方法至更长时间的视频以及不同类型内容。
     • 优化动态FoV响应策略，例如适配“慢速”场景，以减少视觉不稳定性。
     • 引入用户行为（如头部分散数据）以进一步个性化动态FoV策略。

总结

本文提出了一种新颖的360°视频VIMS缓解方案，通过整合视觉SLAM技术与周边光流数据，动态调整FoV以平衡VIMS缓解和沉浸感。动态FoV在用户研究中获得较高的接受度，并展现出良好的VIMS缓解效果，为未来360°视频用户体验设计和优化提供了重要借鉴。