"我不知道我看起来很生气": 工作中观察到的情绪和报告的情感特征

文献标题

"I Didn’t Know I Looked Angry": Characterizing Observed Emotion and Reported Affect at Work

文献信息

• 主题领域: 情感计算、人机交互与工作场景中的情感状态研究
• 关键词: 情感, 情感标注, 工作场所, 自动情感识别, 面部表情, 表情识别, 背景感知, 情感失调对比, 用户研究, 心理学

研究背景与问题

• 问题或挑战:

  • 自动情感识别（Automatic Emotion Recognition, AER）技术已普遍应用于多个领域，但其对情感的解读是否准确一直存疑。
  • 工作场所是应用情感计算的重要场景，但AER技术在该场景中的表现和自我报告的主观情感数据间存在对齐问题。
  • AER技术通常未能考虑人们在特定环境中的内外部背景因素（如历史、当前状态、任务内容），这可能影响识别结果的准确性。

• 研究的重要性:

  • 准确的情感识别技术能够支持提高工作场所生产力和福祉，帮助员工进行情绪自我管理和团队协作。
  • 在管理情绪紧张、工作压力和相关任务情境下，可靠的情感信号对组织和个人意义重大。

• 研究动机与相关工作:

  • AER技术广泛依赖于基础表情分类法且多基于实验室环境（如动作捕捉或人为标注），在实际工作场所中的运用需要进一步研究。
  • 以往研究表明，面部情感表达的普适性受到广泛质疑，尤其是在文化和场景因素复杂的情景下。

解决方案

• 方法或解决方案:

  • 本研究结合工具使用和日记研究方法，分析来自AER技术的观察情感信号（observed emotions）与自我报告情感信号（reported affect）的对比。
  • 提出两种新度量标准用于优化工作场所中的情感识别：情感尖峰（emotion spikes）和基线情感（baseline emotions）。

• 创新之处:

  • 引入多维度情感分析，超越传统AER系统的主导情感（dominant emotion）模型，通过情感尖峰和基线情感反映更细微的情感触发。
  • 将背景变量（任务活动等）加入观察情感数据，显著提升AER输出和主观报告的一致性。

• 实施步骤:

  1. 使用AER工具和日记记录参与者一天的工作情感状态，工具持续捕捉面部表情和工作背景数据。
  2. 总计分析15名信息工作者的记录和工具输出数据，并结合“正负情感量表”（PANAS）对主观报告建模。
  3. 通过随访访谈对比参与者的主观自我感受与AER信号，从观察数据中提取情感尖峰和基线情感。

研究成果

• 具体成果:

  • 观察情感信号与自我报告信号的初始匹配准确率仅为35.4%，但在加入背景数据并优化算法后匹配度提高至58.6%。
  • 提出的情感尖峰和基线情感两种新度量标准表现优于传统主导情感模型。
  • 观察到情感表达的性别差异与心理学研究一致，例如女性表现出更多的“悲伤”基线情感，而男性多表现出混合的正负情感。

• 与现有解决方案的比较与优势:

  • 与单纯依赖主导情感的传统方法相比，新方法能够捕捉更细腻的情感变化模式。
  • 基于工具的工作环境上下文对情感识别的改进提出了可行的新方案。

• 实验或评估结果:

  • 对215条具有配对数据的观测情感和自报告情感记录进行统计分析，验证了情感尖峰模型的显著改善效果（与主导情感相比相对改善94%）。
  • 报告中还强调了主导情感模型和情感尖峰模型在工作情境中的应用潜力。

• 局限性与未来方向:

  • 仅研究了一天的数据记录，缺乏长期纵向研究支持。
  • 参与者背景以科研型角色为主，无法完全推广到所有工作场景。
  • AER技术的面部情感模型仍受限于其原始训练数据的文化和场景偏差，建议未来加入更多影响因素，探索个性化情感标签标定策略。
  • 强调需要更深入挖掘观察与报告信号的关联，同时结合伦理顾虑设计情感技术应用。