利用大脑和生理信号进行对话中的情绪识别

文献标题

Emotion Recognition in Conversations Using Brain and Physiological Signals

文献信息

• 主题领域: 人机交互、情感识别
• 关键词: 人机交互, 多模态情感识别, 会话情感识别, 脑电图(EEG), 皮肤电反应(GSR), 脉搏波(PPG), 多模态融合

研究背景与问题

• 问题或挑战:

  • 情感识别对于人际互动和人机交互至关重要，但传统基于面部表情、语音和身体动作的情感识别方法存在局限性，例如无法揭示隐藏或被伪装的情绪。
  • 大多数研究基于被动任务来诱导情感（如观看视频或图片），无法覆盖复杂的情感状态，例如日常对话中的情感反应。

• 研究重要性:

  • 将情感识别应用于健康护理、教育、社交互动等领域，能够提升用户体验。
  • 脑活动和生理信号在情感识别中的潜力得到验证，表现出不可控性和较高的可信度，对开发情感感知交互系统具有重要意义。

• 研究动机与相关工作:

  • 目前尚缺少利用脑电图（EEG）和生理信号在非扮演场景下进行实时会话情感识别的研究。
  • 作者希望通过创建一个被动对话环境，采集情感反应数据，并进行分析，探索这种方法的可能性与局限性。

解决方案

• 方法或解决方案:

  • 提出一种新的实验设定，通过面对面的动态对话诱导情感，采集多模态数据，包括脑电图（EEG）、皮肤电反应（GSR）、光电容积描记法（PPG）信号。
  • 设计并测试两种情感分类策略：随机森林分类器（RFC）和长短时记忆网络（LSTM）。
  • 实施了多模态数据融合策略，通过权重决策融合来提高情感识别性能。

• 创新之处:

  • 在非扮演状态下对话中进行情感识别的尝试，模拟真实生活中的情感反应。
  • 创建了一个包括脑电图、皮肤电反应和脉搏波数据的多模态数据集 PEGCONV。
  • 探讨了单一与融合多模态方法的性能差异，并提出了未来改进方向。

• 实施步骤与关键技术:

  1. 实验设计: 建立面对面的双人动态对话环境，由经验丰富的心理学家引导对话以诱导五种目标情绪（快乐、悲伤、愤怒、恐惧、中性）。
  2. 数据采集: 使用OpenBCI EEG设备记录脑电活动，使用Shimmer GSR+模块采集皮肤电及脉搏波数据，同时录制音视频。
  3. 数据预处理: 对EEG、GSR和PPG信号进行滤波和标准化，去除噪声以及运动伪影。
  4. 特征提取: 使用统计方法和频谱分析提取脑电频段功率、皮肤电反应和脉搏波信号的特征。
  5. 分类与融合: 分别使用随机森林和LSTM分类器对单模态数据进行分类，通过加权决策融合方法提高准确性。

研究成果

• 具体成果:

  • 在诱导五种目标情绪（快乐、悲伤、愤怒、恐惧、中性）的过程中，实验验证了大部分参与者能够感受到目标情绪，情感诱导策略有效。
  • 使用LSTM分类器在独立参与者数据上的识别效果约为68%（唤醒-高/低），64%（情绪正负性），显著优于随机森林分类器的结果。

• 与现有解决方案相比的优势:

  • 非扮演状态下的情感识别显著提高了研究场景的真实性，与传统基于视频或图片诱导情感的方法相比更加接近日常生活。
  • 多模态融合提高了情感识别的鲁棒性，特定情感分类的性能优于单一模态。

• 实验或评估结果:

  • 在依赖个体数据的情感评估中，唤醒水平和情绪正负性识别平均F1分数分别达到77.6%和80%。
  • 通过深度学习（LSTM），即使是独立参与者也表现出可接受的情感识别性能。

• 局限性与未来方向:

  1. 传感器局限性: 使用凝胶式EEG设备时长限制影响信号质量，有待开发更舒适的硬件。
  2. 情绪标定方法: 当前使用后实验自报告情绪标签，可能不够精确，有待探索实时、多模态标定方式。
  3. 人格与情绪多样性: 人格特质和情绪反应差异性导致数据多样化，需进一步探索如何平衡此类影响。
  4. 融合策略优化: 多模态融合效果尚未完全发挥，未来需要更复杂的深度学习方法来改善性能。
  5. 数据采集规模: 当前样本量较少，需扩大数据集范围以支持更高性能模型训练。

作者计划进一步整合视频和音频数据，并应用于人机交互系统（如数字助手和情感机器人），提升智能界面与人的情感互动能力。