EmotiV：通过面部表情识别（FER）探索在线共看的自动情感分享

文献标题

EmotiV: Exploring Automatic Emotion Sharing through Facial Expression Recognition (FER) for Online Co-Watching

出版信息

• 研究领域: 利用情感识别技术提升远程视频共同观看体验。
• 关键词: 面部表情识别, FER, 共同观看, 情感分享, 在线视频, 社会临场感, 自我意识, 隐私, 用户体验。

背景与问题

• 问题/挑战: 现有的共同观看技术通常需要用户主动输入（如打字）或使用专门设备，这可能中断观看体验或限制可访问性。目前缺乏轻量化、非侵入式的解决方案来增强远程视频观看中的社会临场感。
• 重要性: 增强远程共同观看体验可以改善情感同步性、社会亲密感以及整体观看体验，使单独的媒体消费变得更具吸引力和社交性。
• 动机与相关研究: 先前的研究包括基于文本的弹幕系统、同步播放平台、基于VR的共同观看以及生物信号感应技术，但这些方法要么打断观看流程，要么需要专门硬件。面部表情识别（FER）已在其他领域有所探索，但在共同观看场景中仍未被充分利用。

解决方案

• 提出的方法: EmotiV 是一个基于网络的原型系统，利用 FER 技术通过标准网络摄像头自动捕捉并分享观众的情感，并通过视觉叠加提供实时情感反馈。
• 创新点:
  1. 使用 FER 实现轻量化、非侵入式的情感分享，无需用户主动输入或额外设备。
  2. 提供两种共同观看模式：情感气泡（侧边栏可视化）和情感弹幕（表情符号漂浮于视频上）。
  3. 整合实时反馈与观看后反馈，促进自我意识和反思。
• 流程与关键技术:
  • FER 模型（ResEmoteNet）基于公共数据集训练，并通过网络摄像头采集的数据进行优化，准确率达 84%。
  • 使用滑动窗口投票机制实现稳定的实时情感检测。
  • 两种可视化模式：情感气泡（侧边栏显示聚合情感）和情感弹幕（实时表情符号叠加）。
  • 观看后情感时间线回顾，用于反思情感反应。

结果

• 具体发现:
  • 参与者报告观看体验增强（12 人同意，8 人强烈同意情感气泡模式；14 人同意，6 人强烈同意情感弹幕模式）。
  • EmotiV 激发了“独自观看却又在一起”的感觉，增强了乐趣、陪伴感和情感传染性。
  • 实时反馈和观看后反思促进了自我意识。
• 相较基线的优势: 与基于文本的弹幕相比，EmotiV 提供了更及时和真实的情感反馈，无需主动输入，但表达的丰富性和控制性较弱。
• 实验/评估:
  • 用户研究：20 名参与者分三段观看 15 分钟的《憨豆先生》片段，分别为基线模式（无反馈）、情感气泡模式和情感弹幕模式。
  • 数据收集方式包括结构化问卷和半结构化访谈。
  • 主题分析揭示了“在一起感”、“自我意识”和“隐私顾虑”等主题。
• 局限性与未来工作:
  • 仅限于单一喜剧视频；未来应探索多样化的类型（如恐怖片、体育赛事）。
  • 参与者样本来自单一大学；需要更广泛的人群样本。
  • 研究在受控实验室环境中进行；应研究更自然的环境。
  • FER 基于共同观看的长期效果和可持续性尚未探索。

总结

EmotiV 是一个基于 FER 的系统，通过轻量化的视觉叠加自动捕捉并分享观众的情感，提升了远程视频共同观看体验。它营造了“独自观看却又在一起”的感觉，增强了乐趣和陪伴感，并促进了情感反应的自我意识。尽管其反馈及时且真实，但在表达丰富性方面不及基于文本的互动，同时也引发了隐私问题。未来工作应探索多样化的视频类型、更广泛的参与者样本以及长期影响，以优化和扩展其适用性。EmotiV 为设计情感感知系统以实现连接性和反思性媒体消费提供了宝贵的见解。