通过整合评价和强化学习的计算模型来模拟情感

文献标题

Simulating Emotions With an Integrated Computational Model of Appraisal and Reinforcement Learning

文献信息

• 主题领域: 情感计算、认知建模、交互式学习
• 关键词: 情感建模, 强化学习, 归因理论, 计算理性, 用户情感预测, 人机交互

研究背景与问题

• 问题与挑战:

  1. 传统情感预测方法主要依赖感知数据（如生理信号），但对用户的潜在认知状态和情绪反应之间的复杂交互缺乏理解。
  2. 目前缺乏能够动态、过程性地模拟情绪的模型，现有模型通常是静态的或过于简化。
  3. 强化学习（RL）和归因理论（Appraisal Theory）的整合模型在HCI（人机交互）中的应用尚未深入探索。

• 研究的重要性:

  1. 情绪是人机交互中影响用户行为和体验的关键因素。
  2. 准确预测用户情绪反应有助于优化交互系统，提高用户体验和参与度。
  3. 建立结合认知和情感的模型，可以更深入理解情绪形成机制。

• 研究动机与相关工作:

  • 本研究受到归因理论模型（如Component Process Model）的启发，并结合了强化学习的奖励预测机制。
  • 现有文献已经在静态环境中探索了RL与情绪归因的关系，但缺乏动态的、互动式的验证。
  • 本工作的动机是设计一个综合计算模型，模拟“幸福”、“无聊”和“愤怒”等情绪在真实交互情景中的动态变化。

解决方案

• 方法与模型:

  1. 模型构建:

     • 将情感归因中的评估机制（如目标相关性、突发性、目标导向性和权能感）引入强化学习框架。
     • 将用户交互建模为马尔科夫决策过程（MDP），通过强化学习算法优化情绪预测。
     • 使用支持向量机（SVM）分类，将计算的归因值向量映射到“幸福”、“无聊”、“愤怒”等情绪模式。

  2. 创新点:

     • 将强化学习中的“时间差分误差（TD error）”与情绪评估量化挂钩，解释情绪的激发和发展。
     • 提出了情绪的动态建模方法（引入移动窗口平均值），能够反映情绪的持续性和多阶段演化。
     • 基于人类的情绪归因理论，对任务进行设计和实验验证，以增强模型的应用性。

  3. 实施步骤:

     • 模拟实验任务，通过设计不同的MDP模型，构建触发特定情绪（如“幸福”或“愤怒”）的场景。
     • 训练RL代理，获得有价值的状态-行为评估数据，用以计算情绪归因。
     • 设计实验让人类参与者完成对应任务，并收集其自我报告情绪数据，以验证模型预测的准确性。

研究成果

• 具体成果:

  1. 成功将强化学习与情绪归因理论结合，构建了首个模拟动态情绪变化的综合计算模型。
  2. 通过自报告数据，证明模型能够较高准确性地预测“幸福”、“无聊”和“愤怒”等情绪。

• 相较于现有解决方案的优势:

  1. 动态性：模型引入了时序性成分，能够捕捉情绪的过程特性，而不仅仅是静态的情绪快照。
  2. 理论驱动：基于心理学中的归因理论，将认知和情感状态的联系引入交互建模。
  3. 可解释性：通过归因变量（如目标导向性、突发性等），为情绪预测提供了可解释的原因。

• 实验或评估结果:

  • 在多个实验任务中，模型的预测与参与者的自我报告数据表现出良好一致性（例如，实验1中R² = 0.78, 实验2中R² = 0.86）。
  • 在具有挑战性或重复性的任务中，模型成功预测了情绪（如“无聊”逐渐增加，“幸福”逐渐减少）的时间动态变化。

• 局限性与未来方向:

  1. 局限性:
     • 实验任务简单，未涵盖更复杂的交互情景或更丰富的情绪类型。
     • 模型中对情绪的动态变化仅使用简单的移动平均窗口，未充分建模时间依赖性。
     • 对用户的个体差异尚未深入适配。
  2. 未来方向:
     • 扩展研究范围至更多种类的交互任务及情绪场景（如焦虑、满足等）。
     • 增强模型的情绪时间动态建模，比如引入时间折扣因子。
     • 在自然场景中收集更多真实人类情感数据，验证模型的通用性和实用性。
     • 探索如何结合生理信号（如心率、皮肤电导）以进一步提升模型预测的可行性。

总结

• 本研究为情感计算领域提供了一种新的方法，通过综合强化学习与情绪归因理论，提出了一个动态、可解释性的用户情绪预测模型。
• 该模型在交互系统的设计中具有潜在应用价值，可帮助理解情感驱动的人类行为，并实现情感自适应的技术系统。