攻击性信号：虚拟代理中多模态线索与感知效应建模

文献标题

Signals of Aggression: Modelling Multimodal Cues and Perceptual Effects in Virtual Agents

出版信息

• 主题领域: 智能虚拟代理（IVAs）中多模态攻击性建模，用于培训和模拟。
• 关键词: 智能虚拟代理，多模态攻击性，情感建模，虚拟现实，客户服务培训，面部表情，身体动作，语音合成，攻击性感知，用户研究。

背景与问题

• 问题/挑战: 以往关于智能虚拟代理（IVAs）的研究主要集中在基本情感和单一模态线索上，尚未深入探讨如何以多模态方式建模攻击性并系统性地按强度进行分级。
• 重要性: 在IVAs中建模攻击性对于培训客户服务和冲突降级的前线员工至关重要，因为这能帮助他们为现实中的敌对互动做好准备。
• 动机与相关研究: 现有基于IVA的培训系统优先考虑逼真性，但在如何跨模态建模攻击性或线索如何交互方面缺乏明确性。先前的研究未全面考察语言、语音和身体线索在IVAs中对攻击性感知的影响。

解决方案

• 提出的方法: 基于心理学的多模态攻击性模型，针对IVAs在语言、语音、身体动作和面部表情四个攻击性等级上进行参数化。
• 创新点:
  1. 开发了一个跨语言、语音和身体线索验证的多模态攻击性模型。
  2. 通过两阶段实验评估单模态和多模态攻击性感知。
  3. 提供设计指南，用于创建能够有效传达分级攻击性的IVAs。
• 流程和关键技术:
  1. 基于通信分类法，使用消息类型（如戏弄、威胁、人格攻击）建模语言攻击性。
  2. 通过Azure Text-to-Speech调整响度和频谱粗糙度来调节语音攻击性。
  3. 使用Laban Movement Analysis（LMA）和面部动作编码系统（FACS）设计身体攻击性，调整身体动作和面部表情。
  4. 通过两项用户研究（参与者为空乘人员）评估单模态和多模态攻击性感知。

结果

• 具体发现:
  • 参与者能够可靠地感知跨模态的攻击性，其中身体线索最为有效。
  • 语言线索在较高攻击性等级时趋于平稳，微妙的语言线索常常模糊不清。
  • 多模态组合产生了三个明确的攻击性等级（低、中、高），一致的线索组合带来了最清晰的区分。
• 相较基线的优势:
  • 该模型提供了一个系统化的分级攻击性框架，优于以往的二元或单模态方法。
  • 身体和面部线索在感知攻击性方面表现出最强的预测能力。
• 实验/评估:
  • 实验1: 针对19名空乘人员的单模态感知研究，结果显示身体和语音线索在传达攻击性方面比语言更可靠。
  • 实验2: 针对19名空乘人员的多模态感知研究，结果表明一致的多模态线索能够清晰传达攻击性等级，而不一致的线索导致感知平均化。
• 局限性与未来工作:
  • 模型基于西方规范，可能无法推广到其他文化。
  • 关注于反应性攻击性，未涵盖工具性攻击性。
  • 局限于客户服务场景中的非暴力攻击性；未来研究应探索高风险环境和自适应IVA行为。

总结

本文提出了一个针对智能虚拟代理（IVAs）的多模态攻击性模型，整合了语言、语音和身体线索以模拟分级攻击性。通过两项空乘人员用户研究验证了该模型，结果表明参与者能够可靠地感知攻击性，尤其是通过身体和面部线索。研究结果支持使用多模态、一致性线索来清晰传达攻击性信号，并在培训前线员工进行冲突降级方面具有应用价值。未来工作应关注文化适用性、自适应行为以及高风险情境中的应用。