RCEA-360VR：用于收集精确视口依赖地面真实标签的360°VR视频实时连续情感标注

文献标题

RCEA-360VR: Real-time, Continuous Emotion Annotation in 360° VR Videos for Collecting Precise Viewport-dependent Ground Truth Labels

文献信息

• 主题领域: 情感计算与虚拟现实人机交互
• 关键词: 情感、注释、360°视频、虚拟现实、标签、实时、连续、视域依赖、头部运动

研究背景与问题

• 问题或挑战: 在360°虚拟现实（VR）环境中生成精确的情感标签存在困难，因为视频内容的观看方式多样化，传统的情感注释方法在虚拟环境中无法充分捕捉实时动态情感变化，而后期回顾性的自我报告容易受到记忆偏差影响。此外，用户可自行调整视域，可能会导致情感注释和特定场景之间的不一致。
• 重要性: 精确的情感标签对于情感识别系统和机器学习模型至关重要。它们可以广泛应用于教育、虚拟旅游、新闻参与等领域，同时为增强沉浸式VR中的情感分析提供支持。
• 研究动机与相关工作:
  • 传统情感注释（例如SAM自我评估问卷）无法捕捉视频下的实时情感动态。
  • 目前已有研究开发了适用于桌面和移动端的实时情感注释技术，但缺乏针对360°VR环境的解决方案。
  • 文献回顾指出，视域基于用户头部运动的情感注释尚未充分探索。

解决方案

方法 & 系统设计

• 提出的解决方案: 开发RCEA-360VR系统，包括HaloLight和DotSize两种外围可视化技术，帮助用户在360°VR视频中实时连续地注释情感。
• 创新点:
  • 实现真实视域相关的情感标签，通过记录用户头部运动动态以进行情感融合。
  • 引入基于用户分布的段级视域聚类算法，从而生成精确的情感标签。
  • 采用外设反馈设计以减少用户的认知和视觉压力，不破坏VR沉浸感。
• 实施步骤:
  1. 行为数据采集: 使用HTC Vive Pro Eye设备记录头部运动和眼动数据，并通过Joy-Con手柄实现情感注释。
  2. 实时情感注释设计:
     • HaloLight: 在视域右下角显示透明光环以表示注释状态和情感强度。
     • DotSize: 在视域右下角显示圆点，调整圆点大小以指示情感强度。
  3. 融合算法:
     • 时间对齐: 使用动态时间扭曲（DTW）算法校准注释序列中的时间延迟。
     • 视域聚类: 根据头部运动数据生成视域聚类，过滤出主要视域用户组。
     • 注释融合: 使用贝叶斯融合并结合分段框架，将逐帧情感标签聚合为最终的情感地面真值。

研究成果

• 具体成果:

  • RCEA-360VR系统可收集细粒度、基于视域依赖的情感标签。
  • HaloLight和DotSize技术具备良好的可用性，在实验中未显著增加认知负荷、运动病或打破沉浸感。
  • 实验结果表明，两种技术生成的情感标签具有高一致性，与离散情感评估方法（如SAM问卷）及原始视频标签一致。
  • 通过情感融合算法，生成的情感标签在验证实验中具有100%的分类准确率。
  • 提供了更精细的时间维度情感状态分析，能够捕捉特定视图点的情感波动。

• 与现有解决方案的比较:

  • 相比于静态2D网格或回顾性情感报告，RCEA-360VR实时连续的视觉注释方法显著提高了视域相关标签的精确性。
  • HaloLight和DotSize未显著增加用户负担，且更加适应360°视频的动态观看需求。

• 实验与评估结果:

  • 主观评估: 使用NASA-TLX、IPQ和SSQ问卷，验证视觉注释技术对用户影响较低。
  • 客观评估: 通过生理数据（瞳孔扩张、EDA变化、心跳间隔）确认注释任务不会增加显著的认知负荷。

• 局限性与未来方向:

  • 仅限于短时视频（<1分钟），未验证长时视频对用户影响。
  • 当前只测试了360°视频环境，未扩展到更复杂的VR交互场景（如自由行走、虚拟世界操作）。
  • 未探讨眼动数据与情感之间的潜在关联。
  • 辅助设备及颜色系统对于视觉障碍（如色盲）用户的设计尚需优化。

总结

RCEA-360VR系统展示了在360°VR环境中实时情感注释的潜力，通过引入视域相关特性和情感融合算法，有助于提升情感计算研究的精度与应用范围，特别是为情感识别、预测和训练机器学习模型提供了高效的标签生成方法。未来工作应更深入探索长时、多交互形式的动态VR体验中的情感收集与分析，并解决相关内容的用户一致性、带入点与个性化注释等问题。