具身虚拟代理的情感反馈设计：连续情感强度模型

文献标题

Designing Emotion Feedback for Embodied Virtual Agents: A Continuous Emotional Intensity Model

出版信息

• 主题领域: 具身虚拟代理（EVAs）中的情感反馈优化
• 关键词: 具身虚拟代理, 情感反馈, 情感强度, 同理心, 同步, 期望, 对齐模型, 多模态交互, 用户喜好, 自适应系统

背景与问题

• 问题/挑战: 以往研究集中于为EVAs选择情感类别，但忽略了情感强度这一关键因素，而情感强度对于优化用户喜好至关重要。
• 重要性: 理解并优化情感强度反馈可以提升人机交互质量，尤其是在个人陪伴应用中。
• 动机与相关研究: 固定强度和自适应强度规则（如同步）已被探讨，但未能持续满足用户偏好。情感强度反馈作为独立变量仍未被充分研究，导致对用户偏好及其机制的理解存在空白。

解决方案

• 提出的方法: 连续情感强度对齐模型（EAM），根据用户偏好和状态动态调整EVA的情感强度。
• 创新点:
  1. 确定驱动用户对EVA情感强度偏好的心理机制（同理心、同步、期望）。
  2. 开发情感反馈强度的定量对齐模型。
  3. 在仅面部表情和多模态（面部表情+语音）条件下验证模型。
  4. 与基线模型（固定强度、同步、同理心和期望）进行比较。
• 实验流程与关键技术:
  • 实验1：诱导参与者的快乐和悲伤情绪，测量其对EVA情感强度的偏好，并开发对齐模型。
  • 实验2：在仅面部表情条件下验证模型，与基线模型进行比较。
  • 实验3：扩展验证至多模态条件（面部表情+语音），并进行定性访谈。

结果

• 具体发现:
  • 积极情绪状态：用户偏好的EVA情感强度与同理心机制高度一致。
  • 消极情绪状态：偏好涉及混合机制，偏离了同理心、同步和期望。
  • 对齐模型在仅面部表情和多模态条件下均优于固定强度、同步、同理心和期望模型。
• 相较基线模型的优势:
  • 对齐模型在偏好排名中位列第一（仅面部表情条件下为34.0%；多模态条件下为32.1%），并获得最高的喜好和互动意愿评分。
  • 固定强度模型表现最差，在仅面部表情条件下有55.5%的最后排名，在多模态条件下为62.4%。
• 实验/评估:
  • 实验1：80名参与者（47个有效样本），通过视频诱导情绪，评估11种EVA面部表情。
  • 实验2：35名参与者，使用面部表情对五种模型进行排名。
  • 实验3：65名参与者，使用面部表情+语音对五种模型进行排名，并进行实验后访谈。
• 局限性与未来工作:
  • 仅限于快乐和悲伤情绪；未来应探索其他情绪如愤怒和恐惧。
  • 依赖自我报告测量；建议结合生理和行为指标。
  • 在非约束性语音或文本交互中的适用性尚未测试。

总结

本研究开发并验证了具身虚拟代理（EVAs）的连续情感强度对齐模型（EAM），解决了情感强度反馈优化中的空白。通过实验，该模型在仅面部表情和多模态条件下均优于固定强度、同步、同理心和期望模型。积极情绪状态偏好同理心反馈，而消极情绪状态需要平衡同理心、同步和期望的混合方法。研究结果为设计自适应EVAs在个人陪伴应用中的实践提供了可操作的指导，并有潜力扩展至更广泛的情感类别和交互模式。