提高你的眉毛：通过特定区域面部表情夸张促进社交虚拟现实中的情感交流

研究背景与问题

• 问题与挑战：
  • 在社交虚拟现实（VR）中，面向卡通化虚拟形象的面部表情夸张可以增强情感传达和用户体验，但可能会触发"恐怖谷效应"（Uncanny Valley Effect）——一种引发用户不适的现象。
  • 当前表情的夸张化技术的研究多聚焦于静态图像或二维显示，未能充分捕获社交VR中动态、多情绪的交互特点。此外，头戴显示设备（HMD）的物理限制可能会导致上半脸部表情的不足表达。
• 重要性：社交VR中的非语言交互（如面部表情）是建立信任、提高情感共鸣的核心机制。对表情夸张技术的优化能直接影响虚拟体验的真实感和用户的情感投入。
• 研究动机：针对现有研究不足，作者研究了全动态社交VR中的实时面部表情夸张的效果，并提出一个基于面部区域的表情增强策略，以优化表情的真实性及情感传播。

解决方案

• 方法与策略：
  • 提出面部区域特定表情夸张策略，根据情绪类型和表情特点，对眉毛、眼睑、鼻子、面颊和嘴部等区域进行差异化夸张。
  • 上半脸（例如眉毛）被更高比例地夸张；而下半脸（例如嘴部）保持自然强度，以避免因过度夸张而引发不自然感。
• 创新点：
  • 把夸张程度局部化，而非直接施加于整体面部，针对不同情绪类别采取差异化方法。
  • 提出了夸张化的设计依据，包括定量分析（例如特定区域的表情激活强度）和定性反馈（例如用户对不同时情绪夸张的接受度）。
• 实施步骤：
  1. 数据采集：通过脚本引导演员在虚拟环境中表达六种基本情绪（喜悦、悲伤、恐惧、愤怒、惊讶、厌恶），记录其面部表情、眼动及体态信息。
  2. 实验验证：两个研究阶段：
     • 研究1：分析整体表情夸张对用户共情和恐怖谷效应的影响。
     • 研究2：验证区域特定夸张策略，相较于未修改原始表情在传递情感和减少恐怖谷效应方面的优势。

研究成果

• 具体成果：
  • 研究1:
    • 表情夸张对情绪辨识准确度影响不显著，但对情感感染力（emotional contagion）和恐怖谷效应具有交互作用。例如，喜悦和惊讶的夸张导致“不自然感”增加，而恐惧和愤怒的夸张则增强了表情的自然感和情感传达力。
  • 研究2:
    • 区域特定夸张策略显著提高了厌恶、愤怒和恐惧的情绪传达效果，同时减轻了恐怖谷效应。其中，眉毛的高夸张对传递愤怒表现尤为关键。
    • 对喜悦和惊讶的效果有限，这是因为这些情绪的下半脸表现本身就很显著，进一步夸张易导致不自然。
• 实验与评估结果：
  • 跨两项实验，验证了提出的夸张策略在优化负面情绪（例如愤怒和厌恶）传达的有效性，并保持正面情绪表达的中立性。
  • 通过问卷和主题分析补充的定性反馈指出，用户更倾向于依赖语音而非面部表情作为主要情感线索，夸张策略需同时考虑多模态优化。
• 局限性与未来方向：
  • 局限性：参与者样本集中于中国年轻大学生，可能存在文化和年龄层次的偏差。研究主要基于卡通化虚拟形象，对高保真虚拟形象的适用性需进一步检验。
  • 未来方向：
    • 探讨文化和年龄对表情夸张感知的影响，以改进策略的普适性。
    • 结合实时交互场景，探索动态、自适应的表情增强算法。
    • 对复杂群体的多用户情景和多模态线索的相互作用进行进一步研究。

此研究通过创新的区域化表情夸张策略，在一定程度上解决了社交VR中面部表情难以有效传递情感的技术难点，为未来虚拟现实中的情感交流优化奠定了基础。