情感聚焦：促进在线演示过程中观众成员情感反应的交流

文献标题

AffectiveSpotlight: Facilitating the Communication of Affective Responses from Audience Members during Online Presentations

文献信息

• 主题领域: 人机交互与情感计算
• 关键词: 情感计算, 公共演讲, 智能用户界面, 视频会议, 用户体验, 人机交互, 情感响应, 面部表情分析, 真人交互, 用户反馈

研究背景与问题

• 问题或挑战:

  • 在线观众反馈有限：现有的视频会议平台（如 Microsoft Teams）在在线演讲中无法充分捕获观众的反应，这限制了演讲者对观众情绪的适应和动态调整。
  • 表达压力：公共演讲会因缺乏观众互动而导致演讲者的焦虑，尤其是在只面对中立或被动观众的情况下。
  • 技术局限：当前视频会议应用缺乏对非语言反馈（如点头、微笑、表情）的有效捕获，这影响了远程工作期间的使用体验。

• 重要性:

  • 了解和动态适应观众反馈是提升在线演讲质量的重要因素，有助于缓解演讲焦虑并改善公共演讲体验。
  • 在大规模远程工作的背景下，解决这一问题尤为重要，可以有效缩小线上和线下互动体验的差距。

• 研究动机与相关工作:

  • 作者受戏剧与电影摄影中聚光灯技术的启发，尝试运用实时情感计算技术提升线上演讲者的体验和观众交互。
  • 现有研究主要关注面对面场景中观众的响应捕捉，但未充分探索在线场景中的情感驱动反馈系统。

解决方案

• 方法或解决方案:

  • 提出“AffectiveSpotlight”，一个基于 Microsoft Teams 的实时视频分析机器人。该系统利用情感计算技术分析观众的面部表情与头部动作，并动态聚焦于反应最明显的观众。
  • 系统通过实时视频分析提取认知状态（如困惑、参与度）和观众行为（如点头、摇头），并将最相关的观众单独展示给演讲者。

• 创新之处:

  1. 结合戏剧“聚光灯”的理念，运用情感计算动态捕捉观众反应并优化演讲者的反馈接收。
  2. 利用隐性分析方法消除传统显性反馈方法（如问卷、投票）的干扰，降低认知负荷。
  3. 系统并未直接标记并推断情感，而是以视频形式保留模糊性，让演讲者根据上下文自行解读观众反应。

• 实施步骤与关键技术:

  1. 观众特征捕捉: 使用微软 Face API 进行面部和头部关键点检测，结合卷积神经网络分析情感状态（如幸福、悲伤）与动作（如点头）。
  2. 加权评分机制: 为每帧观众视频计算情感权重分数，每15秒选择分数最高的观众作为聚光灯对象。
  3. 与 Microsoft Teams 集成: 开发 Teams 机器人，以实时获取视频输入并展示聚光灯视频流至演讲者屏幕。

研究成果

• 具体成果:

  • 对比研究结果显示，与随机选取观众及默认 UI 条件相比，AffectiveSpotlight 显著提升了演讲者的观众意识（包括连接感和对观众反应的适应能力），提高了平台的满意度与易用性。
  • 使用 AffectiveSpotlight 时，演讲者的自我评估更接近听众评估，表明该系统帮助建立了更有效的反馈机制。
  • 系统显著减少了演讲者的焦虑感，延长了演讲持续时间。

• 与现有解决方案的比较优势:

  • 与基于单一数据汇总的传统方法相比，AffectiveSpotlight 更直观地通过视频流展示观众反应，降低了演讲者认知负荷。
  • 系统还弥补了随机观众或默认 UI 设置下缺乏互动反馈的短板。

• 实验与评估结果:

  • 14组共117位参与者的测试结果表明，该系统对提升会议表现和改善线上演讲体验具有积极效果。
  • 视觉分析准确率得益于严格的实验条件（如摄像头位置与光线设置），但也指出实现系统泛化面临挑战。

• 局限性与未来方向:

  • 局限性:
    • 当前实验环境控制较严，与真实使用场景可能存在偏差（如会议规模、演讲内容等）。
    • 观众群体主要为技术公司员工，难以泛化到多样化背景的用户。
    • 聚光灯机制可能在特定条件下过于偏重某些表情特质，需增强灵活性。
  • 未来方向:
    • 探索更动态自适应的窗口期选择机制，允许用户自定义聚光灯行为。
    • 扩展传感技术（如麦克风、眼动追踪）支持更丰富的情感捕捉。
    • 优化隐私和透明度机制，提升用户对系统的信任和接受度。